Jedną z głównych barier napotykanych przez osoby niewidome jest dostęp do informacji graficznych, w tym zdjęć, map, rysunków i obrazków. Istnieje potrzeba opracowania skutecznych metod przetwarzania informacji wzrokowej na sygnały sensoryczne dostępne dla osób niewidomych. Niniejsza praca koncentruje się na poszerzaniu i zdobywaniu nowej wiedzy w zakresie prezentacji scen wizualnych dla osób niewidomych za pomocą zmysłów dotyku i słuchu. Hipoteza badawcza jest następująca: możliwe jest opracowanie wzorców dźwiękowych sterowanych dotykiem, pozwalających niewidomemu użytkownikowi na prawidłową interpretację obrazu wyświetlanego na ekranie dotykowym.
Research directions
A unique set of algorithms are being developed to covert images into sounds. The sonic space is understood as a combination of a number of sound parameters such as volume, fundamental frequency, timbre (i.e. the shape of the sound spectrum), modulation amplitude and frequency. The developed procedures will allow a selection of audio parameters to be used to map local image features (brightness, colour, texture) and spatial characteristics (shape, size, location and spatial relations). When representing the spatial characteristics covering a larger area of interest in the image, we utilize techniques for building so-called “auditory scenes” according to psychoacoustic theories of auditory streams described by Bregman. This approach is particularly important in auditory presentation of images of 3D scenes.
0
Achievements
An original interactive sonification techniques for the purpose of 3D scene representation for the visually impaired people were devised, implemented and tested. The techniques were tested by visually impaired users who managed to successfully perform indoor mobility tasks. The system’s usefulness was evaluated quantitatively by means of system usability and task-related questionnaires. We have also shown that the proposed sonification techniques can be a viable tool in the learning process of blind children, in particular such subjects as: geometry, anatomy and geography.
0
Perspectives
The expected impact is the development of conceptual basis for unique human-computer interaction systems with a particular focus on the blind. The performed research allows to determine methods of translating visual information into auditory cues that will enable interactive, touch-auditory perception of images with the greatest efficiency. A far reaching goal is to work out effective sonification schemes that will aid the blind in mobility and navigation.
0
Contact persons
- Dr. Michał Bujacz, e-mail: michal.bujacz@p.lodz.pl
- Dr. Piotr Skulimowski, e-mail: piotr.skulimowski@p.lodz.pl
- Dr. Andrzej Radecki, e-mail: andrzej.radecki@p.lodz.pl
- Prof. Paweł Strumiłło, e-mail: pawel.strumillo@p.lodz.pl
0
Relevant publications
- Radecki A., Bujacz M., Skulimowski P., Strumillo P., Interaktywna sonifikacja obrazów w poważnych grach jako pomoc edukacyjna dla dzieci z dysfunkcją wzroku, British Journal of Education Technology, 2019, DOI: 10.1111/bjet.12852
- Skulimowski P., Owczarek M., Radecki A., Bujacz M., Rzeszotarski D., Strumillo P., Interaktywna sonifikacja obrazów U-głębokości w pomocy nawigacyjnej dla osób niedowidzących, Journal on Multimodal User Interfaces, 2018, DOI: 10.1007/s12193-018-0281-3
0
Image
