Ερευνητές στο ΜΙΤ, την Microsoft και την Adobe ανέπτυξαν έναν αλγόριθμο που μπορεί να ανακατασκευάσει ένα ηχητικό σήμα αναλύοντας λεπτές κινήσεις των αντικειμένων που απεικονίζονται σε βίντεο. Έτσι λοιπόν, το πρώτο οπτικό μικρόφωνο είναι γεγονός.
Σε μια σειρά πειραμάτων ήταν σε θέση να ανακτήσει κατανοητή ομιλία από τις δονήσεις μιας πατάτας-τσιπ σε τσάντα που τραβήχτηκε 15 μέτρα μακριά μέσα σε ηχομονωτικό γυαλί.
Σε άλλα πειράματα, ανακτήθηκα σημαντικά ηχητικά σήματα από βίντεο με φύλλα αλουμινίου,την επιφάνεια ενός ποτηριού νερού ακόμα και τα φύλλα ενός φυτού σε δοχείο.
«Όταν ο ήχος χτυπά ένα αντικείμενο, προκαλεί το αντικείμενο να δονηθεί», λέει ο Abe Davis, ένας μεταπτυχιακός φοιτητής στο Τμήμα Ηλεκτρολόγων Μηχανικών και Επιστήμης Υπολογιστών στο MIT. «Η κίνηση αυτή της δόνησης δημιουργεί ένα πολύ λεπτό οπτικό σήμα που είναι συνήθως αόρατο με γυμνό μάτι. Οι άνθρωποι δεν συνειδητοποιούν ότι η πληροφορία αυτή ήταν εκεί».
Η ανακατασκευή του ήχου από βίντεο απαιτεί ότι η συχνότητα των δειγμάτων από το βίντεο – ο αριθμός των καρέ του βίντεο τραβηγμένα ανά λεπτό- να είναι υψηλότερη από τη συχνότητα του ηχητικού σήματος. Σε κάποια άλλα πειράματα, οι ερευνητές χρησιμοποίησαν μια κάμερα υψηλής ταχύτητας που τράβηξε 2.000 με 6.000 καρέ το λεπτό. Αυτό πολύ πιο γρήγορα από τα 60 καρέ ανά λεπτό που μπορούν να τραβήξουν τα smartphones. αλλά και πολύ χαμηλότερα από την ποσότητα των καρέ που τραβάνε οι εμπορικές κάμερες υψηλής ταχύτητας, οι οποίες μπορούν να φτάσουν τα 100.000 καρέ το λεπτό.
