Quantum Sense

Reakcja widoczna na twarzy

Ankieta zbiera opinię po fakcie, kiedy człowiek zdążył już ją przemyśleć. Nas ciekawiło, co dzieje się w trakcie: w której sekundzie reklamy widz się uśmiecha, kiedy klient przy ladzie się irytuje. Chcieliśmy, żeby komputer odczytywał to z mimiki, bez czujników na ciele. Wystarczała kamera z laptopa albo mała kamera w sklepie.

Moja rola: od założenia firmy do sprzedaży licencji

W 2013 roku założyłem Quantum Lab i jako CEO prowadziłem firmę przez kolejne lata. Zaczęliśmy od How Are You, mobilnego dziennika emocji. Od 2015 rozwijaliśmy własny silnik AI, najpierw pod nazwą Xpress Engine, później jako Quantum Sense. Odpowiadałem za kierunek technologii i produktów, zespół, finansowanie i sprzedaż.

Na rozwój pozyskaliśmy między innymi 3 mln zł grantu z programu „Szybka ścieżka” NCBR. W 2016 roku sprzedaliśmy prawa do Ellen i licencję na Quantum Sense firmie z Wielkiej Brytanii. Ktoś zapłacił za technologię, którą zbudowaliśmy od zera, i to było dla mnie najlepsze potwierdzenie jej wartości.

Jak działał silnik

Najpierw silnik znajdował twarz w kadrze, także wtedy, gdy ktoś nie patrzył prosto w kamerę. Potem skalował i centrował jej obraz oraz wyrównywał oświetlenie. Na koniec wyznaczał 68 punktów wokół brwi, oczu, nosa i ust. Modele uczenia maszynowego zamieniały ruch tych punktów na pięć emocji podstawowych i stan neutralny.

Z kolejnymi wersjami silnik nauczył się więcej. Rozpoznawał osobę po twarzy, płeć i grupę wiekową. Mierzył odległość i kąt nachylenia głowy, sprawdzał, czy ktoś patrzy we wskazane miejsce. Śledził twarze i sylwetki, nadawał im identyfikatory i rozpoznawał te same osoby po powrocie do kadru. W wersji dla placówek pełną wydajność na czterech sensorach dawał mały komputer Intel NUC.

Sprawdzaliśmy go na ludziach

Walidacja krzyżowa modeli nam nie wystarczała, więc zbudowaliśmy własną platformę testową. Kompetentni sędziowie oznaczali na nagraniach emocje respondentów z dokładnością do klatki, a my porównywaliśmy z ich ocenami każdą nową wersję silnika.

W naszym teście z 2017 roku Quantum Sense rozpoznał pięć emocji i stan neutralny ze skutecznością 83,28%. Przeciętna osoba oglądająca te same nagrania osiągnęła 46,33%. W opisie technologii z 2020 roku dokładność wykrywania uśmiechu wynosiła około 99%.

Jeden silnik, kilka produktów

Pierwszym produktem na silniku była Ellen, przeglądarkowe narzędzie do badania reakcji na reklamy, rozwijane później jako Quantum Insight. W ciągu 18 miesięcy od uruchomienia platformy skorzystały z niej 24 firmy. Przebadaliśmy 100 908 respondentów, 450 kampanii reklamowych i 600 materiałów wideo, a nasz zespół przeanalizował 804 godziny filmów z YouTube.

Ten sam silnik pracował w Quantum CX, w bankach i punktach obsługi. Tam liczył uśmiechy doradców i klientów, a platforma zamieniała je na nagrody i wsparcie akcji charytatywnych. W prezentacji technologii opisywaliśmy też kolejne zastosowania: wykrywanie nadużyć w kanale wideo, gry, robotykę i bezpieczeństwo.

Gdzie o nas mówiono

Technologię i produkty Quantum Lab pokazywaliśmy na TEDx, infoShare, TechCrunch i Cyber 6.0. Pisali i mówili o nas Forbes, TVP1, NowyMarketing i Marketer+. Zdobyliśmy wyróżnienia w Horizon 2020, GO_GLOBAL.PL i Innovation AD.

Quantum CX, zbudowany na tym silniku, dostał później srebro EFMA 2019 i pierwszą nagrodę w konkursie UPC Think Big.