Διαδικτυακή Κοινότητα Φοιτητών ΕΜΠ

Διπλωματική Εργασία - Εργαστήριο Αυτομάτου Ελέγχου και Ρομποτικής - Ομάδα Δίποδων Ρομπότ Μηχανολόγων Μηχανικών


Καλησπέρα,
Παρακάτω περιγράφονται δύο θέματα διπλωματικής εργασίας για φοιτητές/τριες που ενδιαφέρονται για την εκπόνηση της εργασίας τους στο Εργαστήριο Αυτομάτου Ελέγχου και Ρομποτικής στη Σχολή Μηχανολόγων Μηχανικών του Ε.Μ.Π., με την ερευνητική ομάδα του καθ. Ε. Παπαδόπουλου (https://csl-ep.mech.ntua.gr/research-ar ... -robotics/).

Αν ενδιαφέρεστε για ένα από τα δύο θέματα, με άμεση έναρξη της εργασίας, μπορείτε να επικοινωνήσετε μαζί μας στα email:
1 katerinasmyrli@gmail.com
2 mastrothanasis@gmail.com
Αναφέρετε στον τίτλο το θέμα για το οποίο ενδιαφέρεστε.

Ακολουθούν λεπτομέρειες.

Θεμα 1 : Detailed 3D Human Body Reconstruction using multiple RGB-D cameras.

3D human shape and pose reconstruction from multiple RGB-cameras is a challenging computer vision problem, with widespread applications in computer animation, augmented reality, and human gait analysis. Recently, several deep-learning-based methods have been proposed which produce impressive 3D pose reconstruction results given RGB and point cloud data.

The goal of the project is to perform background review on available software packages in this research field with the goal to evaluate them and choose the most suitable approach for the project. In turn, choose the appropriate camera setup (consisting of at least 3 RGB-D cameras) so that a human actor is visible while walking in a 3m long corridor. Capture RGB-D data of the human motion and perform 3D reconstruction of the human body offline while focusing on the lower part of the body. Detect the heel-strike (initial foot-floor contact), foot-flat, mid-stance, push-off, and toe-off phases of the human gait.

This project will cover the following topics:

1. Stereo matching from multiple RGB-D cameras.

2. Triangulation of point clouds from multiple sources.

3. Segmentation of the actor’s point cloud from the background.

4. Ways for stitching point clouds together to produce the mesh of the human body.

5. Detection of the heel-strike (initial foot-floor contact), foot-flat, mid-stance, push-off, and toe-off phases of the gait.

Θέμα 2: Μελέτη αντίστροφης δυναμικής σε μηχανικό μοντέλο για το ανθρώπινο περπάτημα.

Κατά το ανθρώπινο περπάτημα αναπτύσσονται δυνάμεις τόσο ανάμεσα στον άνθρωπο και στο έδαφος όσο και εσωτερικά ανάμεσα στις αρθρώσεις του ανθρώπου.
Οι δυνάμεις αυτές εξαρτώνται από τη φυσιολογία του κάθε ανθρώπου (βάρος, μήκος σκελών) αλλά και από άλλες παραμέτρους όπως είναι ο ιδιαίτερος τρόπος βηματισμού του κάθε ανθρώπου, πιθανοί τραυματισμοί κλπ.
Η γνώση αυτών των δυνάμεων είναι χρήσιμη για την διάγνωση παθήσεων, αλλά και για τον σχεδιασμό εξατομικευμένων προσθετικών μελών.
Η απευθείας μέτρηση των δυνάμεων αυτών δεν είναι πάντα πρακτική: για τον υπολογισμό των εξωτερικών δυνάμεων με το έδαφος χρησιμοποιούνται ειδικές πλάκες, στις οποίες ο άνθρωπος πρέπει να πατήσει κατά το περπάτημα του, στόχος ο οποίος επηρεάζει τον τρόπο με τον οποίο θα περπατήσει: επομένως η μέτρηση δεν είναι αντιπροσωπευτική του βηματισμού του. Όσον αφορά τις εσωτερικές δυνάμεις, αυτές δεν μετρούνται άμεσα αλλά έμμεσα με χρήση ειδικού εξοπλισμού που προσαρμόζεται γύρω από τους μυς ή τις αρθρώσεις του ανθρώπου, και παράγουν μετρήσεις οι οποίες επηρεάζονται από πολλούς παράγοντες.
Η εργασία αυτή θα έχει σκοπό να υπολογιστούν οι δυνάμεις αυτές μέσω της διαδικασίας αντίστροφης δυναμικής, χρησιμοποιώντας αναλυτικό μοντέλο της δυναμικής του δίποδου βηματισμού, με κινηματικά δεδομένα τα οποία έχουν εξαχθεί από σύστημα καμερών [1].

Είσοδοι:
> Κινηματικά δεδομένα που περιγράφουν την κίνηση του ανθρώπου σε 3D χώρο. Αυτά αρχικά θα λαμβάνονται από διαθέσιμες βάσεις δεδομένων [2], ενώ αργότερα με την χρήση πειραματικών δεδομένων που θα ληφθούν στο εργαστήριο.
> Ακόμα, δίνονται δυναμικές εξισώσεις για το 3D μηχανικό μοντέλο του ανθρώπου.

Στόχος:
> Προσαρμογή των παραμέτρων του μοντέλου στον άνθρωπο από τον οποίο έχουν ληφθεί τα κινηματικά δεδομένα (μήκος και βάρος συνδέσμων, συνολικό βάρος και ύψος, κλπ).
> Διαμόρφωση της γεωμετρίας των άκαμπτων πελμάτων [3] του μοντέλου ώστε να επιτυγχάνεται η κατάλληλη λειτουργία αστραγάλου στο μοντέλο, όπως αυτή περιγράφεται από τα δεδομένα εισόδου.
> Υπολογισμός των γενικευμένων δυνάμεων [4] που ασκούνται στο προσαρμοσμένο μοντέλο, οι οποίες θα οδηγούν στην κίνηση που ορίζεται από τα κινηματικά δεδομένα εισόδου.
> Σύγκριση αποτελεσμάτων μελέτης με τα αποτελέσματα που λαμβάνονται από το εξειδικευμένο λογισμικό OpenSim [5].

Απαραίτητες δεξιότητες:
> Δυναμική
> Κινηματική
> Προγραμματισμός (Python ή/και C++)

Συνδεσμοι:
[1] https://github.com/CMU-Perceptual-Compu ... b/openpose
[2] https://www.nature.com/articles/s41597-019-0124-4
[3] https://ieeexplore.ieee.org/document/897842
[4] https://www.sciencedirect.com/science/a ... 9008002856
[5] https://simtk.org/projects/opensim