CoDrones

Ένα πλαίσιο απόσταξης γνώσης για βελτιστοποίηση ευφυών δεδομένων στο edge

1 Αρχιτεκτονική

Ένα σύστημα δασκάλου–μαθητή για συσκευές edge, χωρίς χειροκίνητη επισημείωση. Ένα μεγάλο foundation model (ο δάσκαλος) παράγει μάσκες κατάτμησης σε επίπεδο pixel από εικόνες χωρίς ετικέτες, με βάση περιγραφές κειμένου, χωρίς να χρειάζονται χειροκίνητες ετικέτες. Με αυτές τις μάσκες εκπαιδεύεται ένα ελαφρύ μοντέλο-μαθητής που δουλεύει μόνο με εικόνα RGB και μπορεί να τρέξει σε υλικό edge χωρίς GPU, όπως ο υπολογιστής πάνω σε ένα drone.

Πλαίσιο δασκάλου–μαθητή: οι κωδικοποιητές κειμένου και εικόνας παράγουν ευφυή δεδομένα και μάσκες, που γίνονται ψευδο-ετικέτες για την εκπαίδευση ενός ελαφριού μοντέλου-μαθητή — Επισκόπηση του προτεινόμενου πλαισίου δασκάλου–μαθητή: εικόνες χωρίς ετικέτες από τα BoWFire / FLAME και μια περιγραφή κειμένου κωδικοποιούνται, ο δάσκαλος (foundation model) παράγει μάσκες ως ευφυή δεδομένα, και οι ψευδο-ετικέτες που προκύπτουν εκπαιδεύουν ένα μικρό μοντέλο-μαθητή για inference πάνω στη συσκευή.

Υποψήφια μοντέλα-δάσκαλοι για παραγωγή μασκών από κείμενο. Επιλέχθηκε το SAM3 επειδή υποστηρίζει εγγενώς περιγραφές σε επίπεδο έννοιας και έχει την καλύτερη zero-shot κατάτμηση σε επίπεδο αντικειμένου.
Μοντέλο	Είδος prompt	Zero-shot	Βίντεο
CLIPSeg	Κείμενο	Ναι	Όχι
SAM (αρχικό)	Σημεία / πλαίσια / μάσκες	Ναι	Όχι
Grounded-SAM	Κείμενο + πλαίσια / σημεία	Ναι	Όχι
SAM2	Πολυτροπικό	Ναι	Ναι
SAM3 (επιλέχθηκε)	Σε επίπεδο έννοιας (κείμενο / εικόνα)	Ναι	Ναι

Μαθητής: DeepLabV3 με backbone MobileNet, εκπαιδευμένο αποκλειστικά σε ψευδο-ετικέτες από το SAM3 για την κατάτμηση φωτιάς στα BoWFire + FLAME.

2 Παραδείγματα

Αξιολογήθηκε σε μελέτη περίπτωσης κατάτμησης φωτιάς, με εικόνες από αστικούς/εσωτερικούς χώρους (BoWFire) και δασικές πυρκαγιές (FLAME), χωρίς καμία χειροκίνητη επισημείωση σε κανένα στάδιο της εκπαίδευσης.

Είσοδος RGB, μάσκα από το μοντέλο-δάσκαλο και πρόβλεψη του μοντέλου-μαθητή σε σκηνή δασικής πυρκαγιάς — Είσοδος RGB, ψευδο-ετικέτα του δασκάλου (SAM3) και η πρόβλεψη του μοντέλου-μαθητή. Ο μικρός μαθητής αναπαράγει τις αποφάσεις του δασκάλου, χωρίς να έχει δει ποτέ χειροκίνητη επισημείωση.

Πίνακας σύγχυσης δασκάλου–μαθητή για την παρουσία φωτιάς, με 99,2% συμφωνία και μηδέν ψευδώς αρνητικά — Συμφωνία δασκάλου και μαθητή ανά εικόνα: 99,2% συνολικά, με μηδέν ψευδώς αρνητικά. Ο μαθητής δεν χάνει ποτέ φωτιά που εντόπισε ο δάσκαλος.

0,685

Dice score δασκάλου–μαθητή

0,747

IoU συνέπειας σε αναστροφή (σταθερότητα πρόβλεψης)

8,13 FPS

inference μόνο σε CPU, 123 ms/καρέ

3 Βίντεο

Μια σύντομη παρουσίαση του συστήματος σε λειτουργία, πάνω σε πραγματικό βίντεο.

Διαβάστε τη δημοσίευση (PDF)