Testing adversarial robustness of pruned neural network image classifiers

Dobre natrénované hlboké neurónové siete sú známe svojou zraniteľnosťou voči adversariálnym príkladom, teda špeciálne upraveným vstupom založeným na minimálnych alebo pre človeka nepostrehnuteľných zmenách, ktoré môžu model jednoducho oklamať. Hľadanie robustných modelov preto predstavuje významnú výzvu, ktorá je nevyhnutná pre budúce bezpečnostne kritické aplikácie.

1. Naštudovať metódy prerieďovania pre dopredné neurónové siete a vybrať niekoľko metód na ďalšiu analýzu.
2. Pomocou sady bežne používaných benchmarkových datasetov porovnať presnosť klasických hustých modelov s vybranými preriedenými modelmi.
3. Porovnať modely z hľadiska odolnosti voči adversariálnym útokom (pomocou vybraných útokov) a analyzovať získané výsledky.

Kompletnú diplomovú prácu si môžete pozrieť alebo stiahnuť vo formáte PDF.

Otvoriť diplomovú prácu v PDF

Dataset	Popis	Rozlíšenie
MNIST	Ručne písané číslice	28 × 28
Fashion-MNIST	Obrázky oblečenia	28 × 28
CIFAR-10	Prirodzené obrázky objektov	32 × 32
SVHN	Čísla z pouličného prostredia	32 × 32

V práci analyzujeme viacero prístupov k prerieďovaniu neurónových sietí, ktoré sa líšia spôsobom redukcie parametrov a zachovania výkonu modelu.

• Magnitude-based pruning – odstraňovanie váh s najnižšou absolútnou hodnotou
• Similarity & clustering methods – odstraňovanie redundantných neurónov alebo filtrov na základe podobnosti
• Sensitivity analysis methods – analýza vplyvu jednotlivých parametrov na výkon modelu
• Knowledge distillation – prenos znalostí z veľkého teacher modelu na menší student model
• Low-rank methods – aproximácia matíc pomocou metód nižšej hodnosti
• Quantization – znižovanie bitovej presnosti váh a aktivácií modelu
• Architectural design methods – návrh efektívnejších a kompaktnejších architektúr neurónových sietí

Aktuálne sa zameriavame najmä na Magnitude-based pruning, pričom skúmame globálne aj neglobálne prerieďovanie pred a po tréningu modelu.

• Môže prerieďovanie neurónových sietí zvýšiť ich odolnosť voči adversariálnym útokom?
• Ako vplývajú rôzne úrovne prerieďovania na validačnú presnosť modelov?
• Ktoré architektúry neurónových sietí lepšie tolerujú vysoké úrovne prerieďovania?
• Existuje kompromis medzi presnosťou, robustnosťou a redukciou parametrov modelu?
• Ako sa správajú jednotlivé pruning metódy pri rôznych datasetoch?

Konvolučné neurónové siete

Pri konvolučných neurónových sieťach sa validačná presnosť pri nižších a stredných úrovniach prerieďovania výrazne nemení. Pri vysokých úrovniach prerieďovania však nastáva prudký pokles presnosti. Rozdiely medzi jednotlivými metódami sú výraznejšie najmä pri datasete CIFAR-10.

Plne prepojené neurónové siete

Plne prepojené neurónové siete vykazujú citlivosť na vyššie úrovne prerieďovania. Pri datasete MNIST si modely zachovávajú vysokú presnosť dlhšie, zatiaľ čo pri datasete CIFAR-10 dochádza k skoršiemu poklesu validačnej presnosti.

Reziduálne neurónové siete (ResNet)

Reziduálne neurónové siete si pri niektorých typoch prerieďovania zachovávajú vysokú validačnú presnosť aj pri vyšších úrovniach odstránenia váh. Výsledky však zároveň ukazujú prudký pokles presnosti po prekročení určitej hranice prerieďovania.

1. Vadera S., Ameen S. (2022). Methods for Pruning Deep Neural Networks . IEEE Access, 10, pp. 63280-63300.
2. Cheng H., Zhang M., Shi J.Q. (2024). A Survey on Deep Neural Network Pruning: Taxonomy, Comparison, Analysis, and Recommendations . IEEE Transactions on Pattern Analysis and Machine Intelligence, 46(12), pp. 10558-10578.
3. Kuzma T., Farkaš I. (2018). Computational Analysis of Learned Representations in Deep Neural Network Classifiers . In: 2018 International Joint Conference on Neural Networks (IJCNN), pp. 1–8.
4. Alvarez J. (2024). Confident Magnitude-Based Neural Network Pruning . arXiv preprint arXiv:2408.04759.

5.11.2025 Príprava otázok k zadaniu diplomovej práce na školiteľa

18.11.2025 Naštudovanie metód z článku uvedeného ako prvého v zdrojoch. Spísanie výhod a nevýhod k jednotlivým pruningom

23.11.2025 Spustenie a spojazdenie Adversarial Attack visualization. Inštalácia potrebných packov a ubunty. Spustenie školského servera. Zdrojové kódy poskytnuté od študentky Janky Poláškovej.

24.11.2025 Spustenie neurónky a porovnanie výsledkov od autorky. Všetko v poriadku :)

7.12.2025 Spísanie informácii o jednotlivých pruningoch do prehľadnej tabuľky a vyhľadanie šíršich informácii k pruningom (znižovanie parametrov, reálne zrýchlenie,...) a dohľadanie zdrojov k pruningom

21.1.2026 Vyhľadanie knižníc na implementáciu do pythnu a jednotlivých pruningov

15.2.2026 Aplikovanie unstructured mafnitude based pruningu do existujúcej neurónovej siete CIFAR-10 s mierou 20%. Nulovavnie 20% najmenších váh. Tréning konvergoval stabilne

21.2.2026 Aplikovanie globálneho magnitude based pruningu na neurónové siete MNIST s mierou 20%, 40%, 60%. Všetko globálne. Do budúcna aj lokálne na vrstvách a nastavenie pruningu po tréningu

28.2.2026 Aplikovala som rôzne veľkosti globálneho magnitude based pruningu na neuronových sieťach MNIST. Zistili sme, že pri MNIST conv a fc sa učenie láme pri 92%, pri MNIST ResNet sa učenie láme až pri 98%

6.3.2026 Hľadali sme hodnotu, pri ktorej pri magnitude based pruningu sa učenie neurónovej siete oslabuje. Pre convolučnú a fc je to hodnota 91% a pre ResNet sme ešte nezistili, treba vyskúšať 97%, pretože 96% stále dáva výborné výsledky

13.3.2026 Zaznámenávali sme hodnoty pre počet parametrov modelu pred a po pruningu, odhad pamäťovej náročnosti modelu, čas potrebný na natrénovanie a vykonanie forward pass modelu a smerodajnú odchýlku času inferencie.

13.3.2026 Pre ResNet sme našli len hodnoty pripomínajúce step function, naším cieľom bolo nájsť parametre pruningu, ktoré nebudú vykazovať známky tejto funkcie, ale plynulejší prechod do výsledkov náhody. Hľadali sme k tomu články súvisiace. Podarilo sa nám pripojiť na Perun, avšak výpočet na ňom sa zasekáva a hodnoty sa neukladajú, preto nemáme aktualizovanú tabuľku hodnôt pre parametre, čas a pamäť.

29.3.2026 Konečne sa nám podarilo počítať úspešne na Perune, vypočítali sme hodnoty pre rovnaké parametre ale pri prunovaní po treningu

19.4.2026 Pre dataset MNIST sme vyhodnotili rôzne úrovne prerieďovania pre konvolučné, plne prepojené a ResNet neurónové siete.

10.5.2026 Pre dataset CIFAR-10 sme analyzovali vplyv rôznych úrovní prerieďovania na všetky použité architektúry neurónových sietí.