slider01 slider02 slider03

DOI: http://dx.doi.org/10.17959/sppm.2024.30.1.3
PDF: 본문파일 


언어 사용에서 다중감각 신호의 역할 탐구: ELAN 을 활용한 비디오 자료 분석의 예

Investigating the role of multimodal cues in language use: A tutorial on video data analysis using ELAN

고언숙(조선대학교), 김수한(조선대학교), 정종민(조선대학교)

Abstract

Multimodal signals, including audio, visual, and tactile cues, play a crucial role in 
speech recognition and language learning, with even infants showing sensitivity to 
their effects. In this tutorial, we explore various methodologies for recording human 
interactions auditorily and visually to capture these multimodal signals. We introduce 
open databases that can be used even when multimodal data collection is challenging 
for  individual  researchers.  Once  the  dataset  is  prepared,  researchers  can  utilize 
software to code target signals accompanying speech units. We focus on ELAN, a 
free  program  that  enables  the  alignment  of  multiple  tiers  of  annotation  to  code 
simultaneous  multimodal  cues.  Real-world  examples  of  coding  paradigms  and 
analyses are provided. We discuss the potential of how knowledge of multimodal 
signals interacting with speech can be extended to improve mechanisms for machine 
learning to efficiently mimic human learning.

Keywords

Multimodal signals, communication, ELAN, video
번호 제목 글쓴이 날짜 조회 수
공지 [음성음운형태론연구] 온라인 논문 투고 안내 (2023년 1월 14일 수정) Manager 2016.09.02 32361
공지 [음성음운형태론연구] 논문 투고시 유의사항 (2023년 1월 14일 수정) Manager 2013.04.27 40921
690 음성음운형태론연구 30집 1호 목록 홍보이사_2 2024.05.10 37
689 음성음운형태론연구 30집 1호 이주희 홍보이사_2 2024.05.10 31
» 음성음운형태론연구 30집 1호 고언숙, 김수한, 정종민 홍보이사_2 2024.05.10 37
687 음성음운형태론연구 29집 3호 목록 홍보이사_2 2024.01.31 263
686 음성음운형태론연구 29집 3호 Hong, Soonhyun 홍보이사_2 2024.01.31 255
685 음성음운형태론연구 29집 3호 Kuwamoto, Yuji 홍보이사_2 2024.01.31 268
684 음성음운형태론연구 29집 3호 Lee, Joo Kyeong 홍보이사_2 2024.01.31 254
683 음성음운형태론연구 29집 3호 Yu, Hye Jeong 홍보이사_2 2024.01.31 263
682 음성음운형태론연구 29집 3호 Ahn, Miyeon 홍보이사_2 2024.01.31 238
681 음성음운형태론연구 29집 3호 Park, Shinae 홍보이사_2 2024.01.31 248
680 음성음운형태론연구 29집 3호 박선우 홍보이사_2 2024.01.31 251
679 음성음운형태론연구 29집 2호 목록 홍보이사_2 2023.09.09 397
678 음성음운형태론연구 29집 2호 Whang, James & Yazawa, Kakeru 홍보이사_2 2023.09.09 942
677 음성음운형태론연구 29집 2호 Tilsen, Sam 홍보이사_2 2023.09.09 372
676 음성음운형태론연구 29집 2호 Hong, Soonhyun 홍보이사_2 2023.09.09 299
675 음성음운형태론연구 29집 2호 Lee, Yong-cheol 홍보이사_2 2023.09.09 285
674 음성음운형태론연구 29집 2호 Sung, Eunkyung 홍보이사_2 2023.09.09 271
673 음성음운형태론연구 29집 1호 목록 홍보이사_2 2023.05.28 428
672 음성음운형태론연구 29집 1호 이주희 홍보이사_2 2023.05.28 374
671 음성음운형태론연구 29집 1호 Hye Joeng Yu 홍보이사_2 2023.05.28 325