Bakalárska práca
23.5.2011
Pokračovanie v písaní textovej časti, zároveň poslanie manuálu na kontrolu školiteľovi. Približne 95% práce je hotovej. Revízia niektorých metód a prerobenie modelu rozvíjania siete pre BPTT, kde zanikla trieda unfoldedNetwork a všetky jej funkcie sa preniesli na ElmanNetwork a JordanNetwork.
16.5.2011
Pretrvávajúce problémy s RTRL. Začiatok písania texotvej časti bakalárskej práce. Oprava chyby pri testovaní siete. Doplnenie GUI o nové ovládacie prvky a celková konsolidácia aplikácie. Implementácia ukladania a nahrávania sietí, tiež vo formáte XML.
9.5.2011
Písanie manuálu pre našu aplikáciu v anglickom jazyku. Manuál má obsahovať podrobný návod na obsluhu, detailný popis modelu dátových množín, aby ich vedel ktorýkoľvek užívateľ nanovo vytvoriť. Zároveň prebieha debugovanie algoritmu RTRL, ktorý vykazuje podobné problémy ako pred tým BPTT, avšak metódy vyvinuté pri BPTT nepomáhajú.
2.5.2011
Podarilo sa prelomiť sériu neúspechov a naučiť sieť všetky úlohy, ktoré sú určené pre algoritmus BPTT. Problém bol v krátkosti učenia a nepoužívaní heuristických vylepšení. V tomto bode môžeme povedať, že algoritmus BPTT funguje na 100%.
25.4.2011
Debugovanie algoritmu BPTT a problémy s naučením siete jednoduché úlohy and, xor. Popri hľadaní chyby sa aj vylepši algoritmus a pribudla možnosť trénovať ho dávkovým módom (batch mode). Prezentácia na cvičeniach z predmetu neurónové siete, aj keď bohužiaľ sa nepodarilo otestovať BPTT a RTRL (a aj študentov bolo veľmi málo), takže sme nezískali potrebnú spätnú väzbu, aby sme vedeli čo ešte vylepšiť.
18.4.2011
Odhalenie chyby v Mealyho automate, ktorý generoval trénovacie množiny a oprava utility zabezpečujúcej simuláciu tohto automatu. Zároveň vznikla myšlienka, že by mohli byť k aplikácie pripojené aj utility, ktoré by mohli po jednoduchej editácii vytvárať nové úlohy. Rozhodli sme sa vytvoriť zatiaľ dve utility, jednu pre simuláciu automatov, druhú pre vytváranie dátových množín obsahujúcich predikčne úlohy funkcií ako sinus, cosinus, či zložité chaotické atraktory.
11.4.2011
Revízia interfaceu pre načítavanie dátových množín z XML súborov a ich zareprezentovanie do interných dátových štruktúr. Bol zvolený všeobecnejší model, podľa ktorého budú XML súbory vytvárané.
4.4.2011
Oprava trénovacieho algoritmu pre siete ESN, kde sa vyskytol drobný bug. Vytvorenie nových trénovacích množín – chaotických časových radov Mackey-Glass, Laser series, Sunspots (slnečné škvrny).
Týždenné správy
28.3.2011
Implementácia sieťe s echo stavmi a jej učiaceho algoritmu založenom na trénovaní výstupných váh pomocou výpočtu pseudoinverzie matice rezervoára. Vytvorenie dvoch nových trénovacích množín s hodnotami funkcie sin(4x) a sin(4x) + cos(2x). Doplnenie GUI o graf zobrazujúci výstup siete a signál učiteľa pre trénovacie množiny s čísleným výstupom. Oprava delenia datovej množiny na trénovaciu a testovaciu časť.
21.3.2011
Finálna implementácia RTRL a jeho testovanie. Taktiež testovanie BP a BPTT na nových trénovacích množinách. Doplnenie formátu trénovacích množín o nové parametre – row, numeric input a numeric output, aby sa dali spracúvať úlohy s číselným vstupom a výstupom, napr. učenie predikcie funkcie sínus
14.3.2011
Oprava chyby pri vytváraní siete, implementácia načítavania datových množín z formátu XML za použitia XML handlera z knižnice PyBrain. Vytvorenie niekoľkých trénovacích množín z dát Mealyho automatu
1.3.2011
Implementácia datových štruktúr pre RTRL – konštrukcia váhovej matice, matice parciálnych derivácií a aplikácia zmien váh
28.2.2011
Funkčné BPTT, odlaďovanie testovania, príprava na implementáciu RTRL
21.2.2011
Refactorovanie kódu a vytvorenie samostatnej triedy pre GUI, vykreslovanie architektúry siete a grafu chyby pri učení, finalizácia BPTT
15.12.2010
Funkčné rozbaľovanie siete podľa dĺžky učeného slova, analyzujem fungovanie knižnice PyBrain, aby som do nej mohol algoritmus zapracovať
8.12.2010
Základy BPTT algoritmu, pracujem na rozbaľovaní siete, príprava trénovacej množiny z výstupu dvojstavového Mealyho automatu
1.12.2010
Implementácia vytvorenie siete s Elmannovou a Jordanovou architektúrou
24.11.2010
Rozpracovanie vytvárania vlastných sietí, zapracovanie dialógového okna pre konštrukciu sietí
17.11.2010
Prepojenie tlačidiel s funkciami na vytvorenie, učenie a otestovanie siete. Zatiaľ iba jednoduchá dopredná sieť s Backpropagation učením
10.11.2010
Návrh GUI nástrojom Glade Interface Designer
2.11.2010
Spísanie základnej špecifikácie a popisu funkčnosti aplikácie na cvičenie rekurentných neurónových sietí