음성음운형태론연구 30집 1호 고언숙, 김수한, 정종민
2024.05.10 09:23
DOI: http://dx.doi.org/10.17959/sppm.2024.30.1.3
PDF: 본문파일
언어 사용에서 다중감각 신호의 역할 탐구: ELAN 을 활용한 비디오 자료 분석의 예
Investigating the role of multimodal cues in language use: A tutorial on video data analysis using ELAN
고언숙(조선대학교), 김수한(조선대학교), 정종민(조선대학교)
Abstract
Multimodal signals, including audio, visual, and tactile cues, play a crucial role in
speech recognition and language learning, with even infants showing sensitivity to
their effects. In this tutorial, we explore various methodologies for recording human
interactions auditorily and visually to capture these multimodal signals. We introduce
open databases that can be used even when multimodal data collection is challenging
for individual researchers. Once the dataset is prepared, researchers can utilize
software to code target signals accompanying speech units. We focus on ELAN, a
free program that enables the alignment of multiple tiers of annotation to code
simultaneous multimodal cues. Real-world examples of coding paradigms and
analyses are provided. We discuss the potential of how knowledge of multimodal
signals interacting with speech can be extended to improve mechanisms for machine
learning to efficiently mimic human learning.
Keywords
Multimodal signals, communication, ELAN, video
댓글 0
| 번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
|---|---|---|---|---|
| 공지 | [음성음운형태론연구] 온라인 논문 투고 안내 (2023년 1월 14일 수정) | Manager | 2016.09.02 | 32247 |
| 공지 | [음성음운형태론연구] 논문 투고시 유의사항 (2023년 1월 14일 수정) | Manager | 2013.04.27 | 40794 |
| 10 | 음성음운형태론연구 29집 3호 Park, Shinae | 홍보이사_2 | 2024.01.31 | 230 |
| 9 | 음성음운형태론연구 29집 3호 Ahn, Miyeon | 홍보이사_2 | 2024.01.31 | 222 |
| 8 | 음성음운형태론연구 29집 3호 Yu, Hye Jeong | 홍보이사_2 | 2024.01.31 | 248 |
| 7 | 음성음운형태론연구 29집 3호 Lee, Joo Kyeong | 홍보이사_2 | 2024.01.31 | 238 |
| 6 | 음성음운형태론연구 29집 3호 Kuwamoto, Yuji | 홍보이사_2 | 2024.01.31 | 251 |
| 5 | 음성음운형태론연구 29집 3호 Hong, Soonhyun | 홍보이사_2 | 2024.01.31 | 238 |
| 4 | 음성음운형태론연구 29집 3호 목록 | 홍보이사_2 | 2024.01.31 | 251 |
| » | 음성음운형태론연구 30집 1호 고언숙, 김수한, 정종민 | 홍보이사_2 | 2024.05.10 | 18 |
| 2 | 음성음운형태론연구 30집 1호 이주희 | 홍보이사_2 | 2024.05.10 | 13 |
| 1 | 음성음운형태론연구 30집 1호 목록 | 홍보이사_2 | 2024.05.10 | 20 |
2sisstore
