게시판

                                                                                        멀티 모달(Multi Modal)

모달(modal)은 모달리티(modality)를 의미하는데, 모달리티란 인터랙션(interaction) 과정에서 사용되는 의사소통 채널을 가리킨다. 멀티 모달 인터페이스(multi-modal interface)는 전통적 텍스트 외에 음성, 제스처, 시선, 표정, 생체신호 등 여러 입력 방식을 융합하여 인간과 컴퓨터 사이에 자연스런 의사소통이 가능한 사용자 친화형(user-friendly) 기술이다. 사람과 기계 간 통신을 위해 음성, 키보드, 펜 등을 이용해 정보를 주고받는 것을 말한다. 과거의 기계 중심 입력에서 현재는 휴먼 중심의 자연스러운 입력 방식으로 변화하고 있다.

여러 가지 형태와 의미로 컴퓨터와 대화하는 환경을 뜻하는 말로, 컴퓨터와 대화할 때 여러 가지 의사 소통 채널을 동시에 사용하는 환경을 가리켜 멀티 모달(Multi Modal)이라고 한다. 멀티 모달(Multi Modal)은 텍스트와 이미지 학습을 넘나드는 기능을 수행한다.
 

기존 한국의 AI개발은 언어 모델 구성에 머물러왔다. 글을 해석하고 써내는 능력 정도만 갖추어야 할 수 있는 일이 챗봇 등에 한정된 수준이었다. 멀티 모달(Multi Modal)은 텍스트, 음성, 이미지, 영상 등 서로 다른 양식의 데이터를 자유자재로 이해하고 변환할 수 있어 사람처럼 배우고 생각하며 추론할 수 있다.