Nazov prace: Spracovanie obrazu z termokamery, pre pracu osoby pri poziary

Skolitel: Zuzana Berger Haladova

Autor: Michal Uhrin

Mail: uhrin42@uniba.sk

Ciel prace: Projekt sa venuje skumanie dat z termokamery v mieste poziaru a tvorbe softveru na vylepsenie zobrazenia zaberu z termokamery, ktory sa da pouzit na zefektivnenie a zjednodusenie pri praci jednej osoby pri poziari. Ciel je transformovat obraz tak aby bol pre osobu jednoducho a zrozumitelne (farebne) rozdeleny do zon, podla ich bezpecnosti pre pohyb cloveka co moze zjednodusit orientaciu v kritickych situaciach.

DENNIK

5-11 December 2022

Sučasný stav termokamier

Termokamery sú dnes veľmi rozšírené a využívané v rôznych oblastiach, ako napríklad v hasičskej a záchrannej službe. Ukážku môžeme vidieť na nasledujúcom obrázku:

Italian Trulli

19-23 December 2022

Práca hasičských a záchranných zložiek s termokamerou

Hasičské jednotky na Slovensku využívajú termokamery pri riešení rôznych úloh a situácií. Termokamery umožňujú hasičom zistiť tepelné zdroje, ktoré sú inak pre ľudské oko neviditeľné. To zahŕňa napríklad hľadanie osôb alebo zvierat v horiacich budovách, identifikáciu tepla v miestach požiaru a hľadanie skrytých zdrojov ohňa.

9-21 Január 2023

Zber údajov o termokamerách

Termokamera FLIR K2 je pomerne rozšíreným typom termokamery, ktorý sa využíva najmä v rámci hasičských a záchranárskych jednotiek na Slovensku.

Italian Trulli

V rámci tohto výskumu bola využitá termokamera Seek Thermal Compact Pro FF Android. Táto kamera predstavuje inovatívne riešenie, ktoré umožňuje vytvárať termozábery pomocou mobilného zariadenia.

Italian Trulli

20-28 Február 2023

Teória o termokamere

by sme vedeli analyzovať a spracovať zábery z termokamery, potrebujeme najprv vedieť ako termokamera funguje. Termokamera je zariadenie, ktoré slúži na zobrazovanie tepelného žiarenia okolo nás. Tepelné žiarenie je elektromagnetické žiarenie s vlnovou dĺžkou väčšou ako je viditeľné svetlo. Táto tepelná energia môže byť zobrazovaná na displeji termokamery v podobe farebnej mapy, kde každá farba reprezentuje určitú teplotu.

1-10 Marec 2023

OCR Tesseract

OCR Tesseract je softvér pre optické rozpoznávanie znakov (OCR), ktorý umožňuje prevedenie papierových dokumentov alebo digitálnych obrázkov do čitateľnej podoby. Potrebné zistenie funkcie pre využitie čítania číselných hodnôt z obrázkov.

Italian Trulli

12-16 Marec 2023

Získavanie hodnôt pre každý bod v obraze - teória a nápady

Proces získavania teploty pre jednotlivé pixely alebo body v obraze vyžaduje určité kroky a výpočty. Celkovým cieľom tohto bodu je pomocou farebnej stupnice previesť hodnotu bodu na stupeň celzium

Italian Trulli

20. Máj - 15. Apríl 2023

Teória 3D rekonštrukcii

Teraz sme sa venovali téorií o 3D rekonštrukcii. Zamerali sme sa konkrétne na stereo rekonštrukciu.

Italian Trulli

16-18 Apríl 2023

Vývojové prostredia a knižnice

Náš softvér je programovaný v jazyku Python. Ako vývojové prostredie sme zvolili PyCharm. Ďalej sme sa rozhodli pre využitie knižníc ako je openCV a pytesseract.

Italian Trulli

20. Apríl - 20. Máj 2023

Implementácia

Tu sme sa venovali implementácií. Tvorili sme algoritmus pre spracovanie videa z termokamery. Tiež sme vytvorili tri algoritmy pre korešpondenciu bodov mdezi zábermy

Na nasledujúcom obrázku je zobrazený cieľ prvého algoritmu

Italian Trulli

Na nasledujúcom obrázku je ukážka výstupu z korešpondencie bodov

Italian Trulli

20-30 Máj 2023

Uprava získanie teploty

Úprava systému získavanie teploty pre kažy pixel.

20-31 Máj 2023

Záver

Na záver sme sa venovali zhromaždeniu výsledkov našej práce. Zhodnotili sme jednotlivé pokusy, ktoré sme sa rozhodli zahrnúť do práce. Taktiež sme pripravili všetky súbory a zhromaždili a zprehľadnili naše dáta.

Na odkaze: PRÍLOHY môžeme vidieť naše prílohy plus zdrojové kódy.

ZDROJE

[1] About opencv. https://opencv.org/about/. Datum prıstupu: 20. marec 2023.

[2] Brute-force matcher. https://docs.opencv.org/4.x/dc/dc3/tutorial_py_matcher.html. Datum prıstupu: 2. marec 2023.

[3] Disparity map. https://www.baeldung.com/cs/disparity-map-stereo-vision. Datum prıstupu: 4. marec 2023.

[4] Disparity map image. https://docs.opencv.org/3.4/dd/d53/tutorial_py_depthmap.html. Datum prıstupu: 6. marec 2023.

[5] Euclidian distance in rgb color. https://observablehq.com/@luciyer/euclidian-distance-in-rgb-color-space. Datum prıstupu: 20. maj 2023.

[6] Flann. https://github.com/flann-lib/flann. Datum prıstupu: 2. marec 2023.

[7] Flir k2. https://www.termokamery-flir.sk/termovizni-kamera-pro-hasice-k2/. Datum prıstupu: 16. ferbuar 2023.

[8] Flir k2 - ˇspecifikacia. https://www.termokamery-flir.cz/wp-content/uploads/FLIR-K2-datasheet-EN.pdf. Datum prıstupu: 16. ferbuar 2023.

[9] Hranica teploty nebezpecnej pre hasica v ochranom obleku. https://www.tophasici.sk/blog/vrstvy-hasicskych-zasahovych-odevov-vrchna-vrstva/. Datum prıstupu: 29. aprıl 2023.

[10] Hranica teploty nebezpecnej pre cloveka. http://percepcia.szm.sk/teplo.htm. Datum prıstupu: 29. aprıl 2023.

[11] Obrazy zaznamov z hasicskych termokamier. https://www.termokamery-flir.sk/termovizni-kamera-pro-hasice-k2/. Datum prıstupu: 12. ferbuar 2023.

[12] Orb (oriented fast and rotated brief). https://docs.opencv.org/3.4/d1/d89/tutorial_py_orb.html. Datum prıstupu: 2. marec 2023.

[13] Seek thermal compact pro ff android. https://www.thermal.com/compact-series.html. Datum prıstupu: 16. februar 2023.

[14] Seek thermal compact pro ff android - technicka specifikacia. https://www.thermal.com/uploads/1/0/1/3/101388544/compactpro-sellsheet-usav1.pdf. Datum prıstupu: 16. ferbuar 2023.

[15] Nguyen Andrew-Hieu, Wang Yuzeng, and Wang Zhaoyang. Single-shot 3d shape reconstruction using structured light and deep convolutional neural networks. Sensors,20:3718, 07 2020.

[16] Forlani Gianfranco, Nardinocchi Carla, Scaioni Marco, and Zingaretti Primo. Complete classification of raw lidar data and 3d reconstruction of buildings. Pattern Anal. Appl., 8:357–374, 02 2006.

[17] Kim Hansung, Yang Seung-jun, and Sohn Kwanghoon. 3d reconstruction of stereo images for interaction between real and virtual worlds. pages 169– 176, 11 2003.

[18] R. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, 2004.

[19] Chen Mingju, Duan Zhengxu, Lan Zhongxiao, and Yi Sihang. Scene reconstructionalgorithm for unstructured weak-texture regions based on stereo vision. Applied Sciences, 13:6407, 05 2023.

[20] Heidarysafa Mojtaba, Reed James, Kowsari Kamran, Leviton April, Warren Janet, and Brown Donald. From Videos to URLs: A Multi-Browser Guide to Extract Users Behavior with Optical Character Recognition, pages 503–514. 01 2020.

[21] Sahu Narendra and Sonkusare Manoj. A study on optical character recognition techniques. International Journal of Computational Science, Information Technology and Control Engineering, 4:01–15, 01 2017.

[22] A. N. Wilson and Khushi Anil Gupta. Recent advances in thermal imaging and its applications using machine learning: A review. IEEE Sensors Journal, 23(4):3395 – 3407, 2023