Testing adversarial robustness of pruned neural network image classifiers

Well-trained deep neural networks are known to be vulnerable to adversarial examples, i.e. carefully crafted inputs, often based on minimal or unnoticeable perturbations, that can easily fool the trained networks. Finding robust models is therefore a key challenge that should eventually enable safety-critical applications.

1. Study the pruning methods for feedforward neural networks and select a few methods for further analysis. 2. Using a set of commonly used small-scale benchmarks, consistently compare the accuracy of classical dense models with selected pruned models. 3. Compare the models in terms of adversarial robustness (using selected attacks) and analyze the results.

1. Vadera S., Ameen S. (2022). Methods for Pruning Deep Neural Networks. IEEE Access, 10, pp. 63280-63300, doi: 10.1109/ACCESS.2022.3182659
2. Cheng H., Zhang M., Shi J.Q. (2024). A Survey on Deep Neural Network Pruning: Taxonomy, Comparison, Analysis, and Recommendations. IEEE Transactions on Pattern Analysis and Machine Intelligence, 46(12), pp. 10558-10578, doi: 10.1109/TPAMI.2024.3447085

5.11.2025 Príprava otázok k zadaniu diplomovej práce na školiteľa

18.11.2025 Naštudovanie metód z článku uvedeného ako prvého v zdrojoch. Spísanie výhod a nevýhod k jednotlivým pruningom

23.11.2025 Spustenie a spojazdenie Adversarial Attack visualization. Inštalácia potrebných packov a ubunty. Spustenie školského servera. Zdrojové kódy poskytnuté od študentky Janky Poláškovej.

24.11.2025 Spustenie neurónky a porovnanie výsledkov od autorky. Všetko v poriadku :)

7.12.2025 Spísanie informácii o jednotlivých pruningoch do prehľadnej tabuľky a vyhľadanie šíršich informácii k pruningom (znižovanie parametrov, reálne zrýchlenie,...) a dohľadanie zdrojov k pruningom

21.1.2026 Vyhľadanie knižníc na implementáciu do pythnu a jednotlivých pruningov

15.2.2026 Aplikovanie unstructured mafnitude based pruningu do existujúcej neurónovej siete CIFAR-10 s mierou 20%. Nulovavnie 20% najmenších váh. Tréning konvergoval stabilne

21.2.2026 Aplikovanie globálneho magnitude based pruningu na neurónové siete MNIST s mierou 20%, 40%, 60%. Všetko globálne. Do budúcna aj lokálne na vrstvách a nastavenie pruningu po tréningu

28.2.2026 Aplikovala som rôzne veľkosti globálneho magnitude based pruningu na neuronových sieťach MNIST. Zistili sme, že pri MNIST conv a fc sa učenie láme pri 92%, pri MNIST ResNet sa učenie láme až pri 98%

6.3.2026 Hľadali sme hodnotu, pri ktorej pri magnitude based pruningu sa učenie neurónovej siete oslabuje. Pre convolučnú a fc je to hodnota 91% a pre ResNet sme ešte nezistili, treba vyskúšať 97%, pretože 96% stále dáva výborné výsledky

13.3.2026 Zaznámenávali sme hodnoty pre počet parametrov modelu pred a po pruningu, odhad pamäťovej náročnosti modelu, čas potrebný na natrénovanie a vykonanie forward pass modelu a smerodajnú odchýlku času inferencie.

13.3.2026 Pre ResNet sme našli len hodnoty pripomínajúce step function, naším cieľom bolo nájsť parametre pruningu, ktoré nebudú vykazovať známky tejto funkcie, ale plynulejší prechod do výsledkov náhody. Hľadali sme k tomu články súvisiace. Podarilo sa nám pripojiť na Perun, avšak výpočet na ňom sa zasekáva a hodnoty sa neukladajú, preto nemáme aktualizovanú tabuľku hodnôt pre parametre, čas a pamäť.

29.3.2026 Konečne sa nám podarilo počítať úspešne na Perune, vypočítali sme hodnoty pre rovnaké parametre ale pri prunovaní po treningu