Bakalárska práca

Názov

Upravovanie záznamu ľudského pohybu a sekvencií snímaných 3D kamerou

Navigácia

Anotácia

Ľudský pohyb vieme zaznamenať pomocou technológii snímania pohybu, buď optickým spôsobom alebo pomocou inerčných oblekov. Táto téma sa zaoberá jednak optickým snímaním pomocou 3D kamier, a tiež inerčným snímaním pomocou oblekov alebo rukavíc. Naším cieľom je zachytiť dataset zložený z pohybových dát zachytených inerčným systémom a nahrať synchronizovanú sekvenciu s použitím 3D kamery. Rozhranie pre editovanie a úpravu nahraných datasetov nám umožní robiť prepojené operácie s kostrou a mračnom bodov, využiteľné pre úlohy analýzy ľudského tela. Editovací systém bude evaluovaný a testovaný na nahratých datasetoch, kde modifikované dáta môžu byť z rozhrania exportované.

Cieľ

- Naštudovať relevantné články k nahrávaniu datasetov a technólogií 3D kamier - Vytvoriť dataset zložený zo synchronizovaných dát pohybu človeka a sekvencie snímkov z 3D kamery - Naštudovať systémy ako Unity, Unreal Engine a pridávanie C++ modulov - Navrhnúť a implementovať aplikáciu na úpravu nahraných datasetov, napr. škálovanie kostry, modifikácia segmentácie, alebo filtrovanie pozadia - Evaluácia metódy, a písanie práce

Zoznam Zdrojov

Podobné staršie bakalárske práce

Inspection and Editing of 3D Reconstructions in VR: Lukáš Gajdošech
Segmentation and Rendering of Multi-material 3D Scans: Jakub Valent
Capturing​ ​of​ ​Movement​ ​During​ ​Music​ ​Performance: Dana Škorvánková
Zobrazovanie počasia v 3D modeli: Zdenko Kobezda
Popis a demonštrácia vybraných techník real-time renderingu: Jakub Lukašík
Porovnanie metód rotácií bodu okolo priamky v 3D: Peter Zborovský
Online modelovanie a prezentovanie 3D objektov: Milan Halabuk

Východiskové odborné práce

MoVi: A large multi-purpose human motion and video dataset, Ghorbani et al. 2021, https://doi.org/10.1371/journal.pone.0253157
Motion Capture Research: 3D Human Pose Recovery Based on RGB Video Sequences, Min 2019 et al., https://doi.org/10.3390/app9173613
Survey on Style in 3D Human Body Motion: Taxonomy, Data, Recognition and its Applications, Ribet et al. 2019, https://hal.archives-ouvertes.fr/hal-02420912/document
Berkeley MHAD: A Comprehensive Multimodal Human Action Database, Ofli et al. 2013, https://openreview.net/pdf?id=TL6wabAZ9
Combining marker-based mocap and RGB-D camera for acquiring high-fidelity hand motion data, Xu et al 2012, https://www.researchgate.net/publication/262399725_Combining_marker-based_mocap_and_RGB-D_camera_for_acquiring_high-fidelity_hand_motion_data
3D Photography: Full Body 3D Scanning, Zhou et al. 2015, https://www.researchgate.net/publication/265205391_Full_Body_3D_Scanning

Existujúce riešenia

https://www.rokoko.com/integrations/3d-character-animation-in-unreal
https://www.youtube.com/watch?v=R-ZXdAEGbiw&ab_channel=UnrealEngine http://www.valentinkraft.de/portfolio/point-cloud-renderer-for-unreal/
https://knowledge.autodesk.com/support/3ds-max/learn-explore/caas/CloudHelp/cloudhelp/2021/ENU/3DSMax-Character-Animation/files/GUID-D9E35828-63EB-4383-9F3C-40ABD0EFAF28-htm.html
https://pointcloudplugin.com/
https://skeletex.xyz/
http://pointclouds.org/

Manuály, učebnice, tutorialy, iné dokumenty

https://docs.unrealengine.com
https://api.unrealengine.com
https://wiki.unrealengine.com
https://photoneo.com/files/PhoXiControl-QuickInstructionManual.pdf
https://www.youtube.com/watch?v=dgBmw4CXDYY&ab_channel=Rokoko
https://www.youtube.com/watch?v=Asw4C51RH9I&ab_channel=UnrealEngine
https://www.youtube.com/c/NitrogenDev/featured
https://www.youtube.com/user/UnrealDevelopmentKit
https://www.youtube.com/c/ReubenWardTutorials/featured
http://pointclouds.org/documentation/tutorials/

Vstupné údaje

Custom Datasety:

3D skeny pohybu 10 FPS
3D skeny pohybu 30 FPS
Exportované dáta pohybu z Rokoko Studio
Surové dáta pohybu z obleku

Testovacie Datasety

https://www.rokoko.com/application/education
https://github.com/zju3dv/EasyMocap
https://github.com/PointCloudLibrary/pcl/tree/master/test

Školitel

RNDr. Martin Madaras, PhD.

Harmonogram práce

November - Časový plán bakalárskej práce, Zber a štúdium zdrojov, Prezentácia zdrojov

December - Analýza zdrojov, Nahratie datasetov, 1. kapitola bakalarskej prace

Január - Analýza riešení, Navrh softvéru

Február - Implementacia softvéru

Marec - Testovanie softvéru a jeho optimalizacia

Apríl - Dopísanie teoretickej casti bakalarskej prace

Denník

20.10. - 9.11.2021

Oboznamovanie sa s vývojovým prostredim Unreal Engine

10.11. - 15.12.2021

Zbierenie informácií do východiskovej kapitoly teoretickej časti bakalárskej práce

16.12.- 15.1.2022

Písanie výchoskovej kapitoly teoretickej časti bakalárskej práce

16.1.- 10.2.2022

Vytvorenie prototypu aplikácie

11.2.- 1.3.2022

Nahrávanie a ladenie datasetov

2.3.- 25.3.2022

Doplnenie funkcionalít aplikácie

26.3.- 11.4.2022

Refaktorizacia kódu / opravovanie nájdených bugov

12.4.- 20.4.2022

Písanie návrhu teoretickej časti bakalárskej práce

21.4.- 30.4.2022

Písanie implementácie teoretickej časti bakalárskej práce

1.5.- 20.5.2022

Dopisovanie teoretickej časti bakalárskej práce, spellcheck, zdroje, úvod, záver, obsah, formálna úprava

21.5.- 1.6.2022

Testovanie aplikácie, odstranenie posledných chýb, refaktorizácia kódu, úprava použivateľského rozhrania

Screenshoty aplikácie

obr1 obr2 obr3 obr6 obr7 obr9 obr4 obr5 obr8 obr10 obr11 obr12

Linky na stiahnutie

Dokumentácia: Zdroje Komentár Východiská
Prototyp: Prototyp
Finálne súbory: Aplikácia Zdrojový kód Bakalárska práca PDF Bakalárska práca DOCX