Jedną z głównych barier napotykanych przez osoby niewidome jest dostęp do informacji graficznych, w tym zdjęć, map, rysunków i obrazków. Istnieje potrzeba opracowania skutecznych metod przetwarzania informacji wzrokowej na sygnały sensoryczne dostępne dla osób niewidomych. Niniejsza praca koncentruje się na poszerzaniu i zdobywaniu nowej wiedzy w zakresie prezentacji scen wizualnych dla osób niewidomych za pomocą zmysłów dotyku i słuchu. Hipoteza badawcza jest następująca: możliwe jest opracowanie wzorców dźwiękowych sterowanych dotykiem, pozwalających niewidomemu użytkownikowi na prawidłową interpretację obrazu wyświetlanego na ekranie dotykowym.
Kierunki badań
Opracowywany jest unikalny zestaw algorytmów przekształcających obrazy w dźwięki. Przestrzeń dźwiękowa rozumiana jest jako kombinacja wielu parametrów dźwięku, takich jak głośność, częstotliwość podstawowa, barwa (czyli kształt widma dźwięku), amplituda i częstotliwość modulacji. Opracowane procedury pozwolą na dobór parametrów audio, które będą wykorzystywane do mapowania lokalnych cech obrazu (jasność, kolor, faktura) oraz cech przestrzennych (kształt, rozmiar, położenie i relacje przestrzenne). Reprezentując cechy przestrzenne obejmujące większy obszar zainteresowania obrazu, wykorzystujemy techniki budowania tzw. „scen dźwiękowych” według psychoakustycznych teorii strumieni dźwiękowych opisanych przez Bregmana. Takie podejście jest szczególnie ważne w przypadku dźwiękowej prezentacji obrazów scen 3D.
0
Osiągnięcia
Opracowano, wdrożono i przetestowano oryginalne techniki interaktywnej sonifikacji do trójwymiarowej reprezentacji scen dla osób niedowidzących. Techniki zostały przetestowane przez niedowidzących użytkowników, którym udało się pomyślnie wykonać zadania związane z poruszaniem się w pomieszczeniach. Użyteczność systemu oceniono ilościowo za pomocą kwestionariuszy użyteczności systemu oraz zadaniowych. Pokazaliśmy również, że proponowane techniki sonifikacji mogą być użytecznym narzędziem w procesie uczenia się dzieci niewidomych, w szczególności takich przedmiotów jak: geometria, anatomia i geografia.
0
Perspektywy
Oczekiwanym efektem jest opracowanie podstaw koncepcyjnych dla unikalnych systemów interakcji człowiek-komputer ze szczególnym uwzględnieniem osób niewidomych. Przeprowadzone badania pozwolą na określenie metod przekładania informacji wzrokowych na sygnały słuchowe, które umożliwią interaktywną, dotykowo-słuchową percepcję obrazów z największą skutecznością. Dalekosiężnym celem jest wypracowanie skutecznych schematów sonifikacji, które pomogą osobom niewidomym w poruszaniu się i nawigacji.
0
Kontakt
dr Michał Bujacz ORCiD, e-mail: michal.bujacz@p.lodz.pl
dr Piotr Skulimowski ORCiD, e-mail: piotr.skulimowski@p.lodz.pl
dr Andrzej Radecki ORCiD, e-mail: andrzej.radecki@p.lodz.pl
prof. Paweł Strumiłło ORCiD, e-mail: pawel.strumillo@p.lodz.pl
0
Publikacje
- Radecki A., Bujacz M., Skulimowski P., Strumillo P., Interaktywna sonifikacja obrazów w poważnych grach jako pomoc edukacyjna dla dzieci z dysfunkcją wzroku, British Journal of Education Technology, 2019, DOI: 10.1111/bjet.12852
- Skulimowski P., Owczarek M., Radecki A., Bujacz M., Rzeszotarski D., Strumillo P., Interaktywna sonifikacja obrazów U-głębokości w pomocy nawigacyjnej dla osób niedowidzących, Journal on Multimodal User Interfaces, 2018, DOI: 10.1007/s12193-018-0281-3
0
Image
