論文の概要: Lexical Retrieval Hypothesis in Multimodal Context

• arxiv url: http://arxiv.org/abs/2305.17663v1
• Date: Sun, 28 May 2023 08:17:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 17:40:03.418351
• Title: Lexical Retrieval Hypothesis in Multimodal Context
• Title（参考訳）: 多様文脈における語彙検索仮説
• Authors: Po-Ya Angela Wang, Pin-Er Chen, Hsin-Yu Chou, Yu-Hsiang Tseng, Shu-Kai Hsieh
• Abstract要約: 台湾初の多モーダル言語コーパス(MultiMoco)構築への取り組みについて紹介する。 コーパスに基づいて,レキシカル検索仮説(LRH)のケーススタディを行う。 台湾・マンダリンにおける8つの議会間干渉に関する詳細なアノテーションを用いて, 音声定数と非言語的特徴の共起について検討する。 本研究は,手の動きが語彙検索のファシリテーターとして機能する一方で,情報強調の目的も果たすことを示唆している。
• 参考スコア（独自算出の注目度）: 0.7349727826230862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal corpora have become an essential language resource for language science and grounded natural language processing (NLP) systems due to the growing need to understand and interpret human communication across various channels. In this paper, we first present our efforts in building the first Multimodal Corpus for Languages in Taiwan (MultiMoco). Based on the corpus, we conduct a case study investigating the Lexical Retrieval Hypothesis (LRH), specifically examining whether the hand gestures co-occurring with speech constants facilitate lexical retrieval or serve other discourse functions. With detailed annotations on eight parliamentary interpellations in Taiwan Mandarin, we explore the co-occurrence between speech constants and non-verbal features (i.e., head movement, face movement, hand gesture, and function of hand gesture). Our findings suggest that while hand gestures do serve as facilitators for lexical retrieval in some cases, they also serve the purpose of information emphasis. This study highlights the potential of the MultiMoco Corpus to provide an important resource for in-depth analysis and further research in multimodal communication studies.
• Abstract（参考訳）: マルチモーダルコーパスは言語科学や自然言語処理(NLP)システムにとって欠かせない言語資源となっている。 本稿では,台湾初の多モーダル言語コーパス(MultiMoco)の構築に向けた取り組みについて紹介する。 コーパスに基づいて語彙検索仮説(LRH)を検証し,言語定数と共起する手振りが語彙検索や他の言論機能に役立てるかどうかを検討した。 台湾・マンダリンにおける8つの議会干渉に関する詳細なアノテーションを用いて, 発話定数と非言語的特徴(頭部運動, 顔運動, 手のジェスチャー, 動作機能)の共起について検討した。 本研究は,手の動きが語彙検索のファシリテーターとして機能する一方で,情報強調の目的も果たすことを示唆している。 本研究は,MultiMoco Corpusが深部分析やマルチモーダルコミュニケーション研究において重要な資源を提供する可能性を明らかにするものである。

関連論文リスト

• Scaling up Multimodal Pre-training for Sign Language Understanding [96.17753464544604]
  手話は、難聴者コミュニティにとってコミュニケーションの主要な意味である。 難聴者と聴覚者のコミュニケーションを容易にするために,手話理解(SLU)タスクのシリーズが研究されている。 これらの課題は、多様な視点から手話のトピックを調査し、手話ビデオの効果的な表現を学ぶ上での課題を提起する。
  論文  参考訳（メタデータ） (2024-08-16T06:04:25Z)
• Large Language Models Meet Text-Centric Multimodal Sentiment Analysis: A Survey [66.166184609616]
  ChatGPTは、テキスト中心のマルチモーダルタスクに大規模言語モデル(LLM)を適用する大きな可能性を開く。 既存のLLMがテキスト中心のマルチモーダル感情分析タスクにどのように適応できるかは、まだ不明である。
  論文  参考訳（メタデータ） (2024-06-12T10:36:27Z)
• Multilingual Evaluation of Semantic Textual Relatedness [0.0]
  意味的テクスト関係性(STR)は、言語的要素や話題、感情、視点といった非言語的要素を考慮して、表面的な単語重複を越えている。 以前のNLP研究は主に英語に焦点を合わせており、言語間の適用性を制限している。 Marathi、Hindi、スペイン語、英語でSTRを探索し、情報検索や機械翻訳などの可能性を解き放つ。
  論文  参考訳（メタデータ） (2024-04-13T17:16:03Z)
• Multimodal Modeling For Spoken Language Identification [57.94119986116947]
  音声言語識別とは、ある発話中の音声言語を自動的に予測するタスクを指す。 本稿では,多モーダル音声言語識別手法であるMuSeLIを提案する。
  論文  参考訳（メタデータ） (2023-09-19T12:21:39Z)
• A Survey on Deep Multi-modal Learning for Body Language Recognition and Generation [5.8522989442606566]
  ボディランゲージ(Body language, BL)とは、身体の動き、ジェスチャー、表情、姿勢によって表現される非言語コミュニケーションのこと。 深層マルチモーダル学習技術は,これらのBLの多様な側面を理解し解析する上で有望であることを示す。 いくつかの共通BLは、手話(SL)、キュードスピーチ(CS)、コスペーチ(CoS)、トーキングヘッド(TH)とみなされる。
  論文  参考訳（メタデータ） (2023-08-17T08:15:51Z)
• BabySLM: language-acquisition-friendly benchmark of self-supervised spoken language models [56.93604813379634]
  音声表現を学習するための自己指導技術は、人間のラベルを必要とせずに、音声への露出から言語能力を高めることが示されている。 語彙および構文レベルで音声言語モデルを探索するために,言語習得に親しみやすいベンチマークを提案する。 テキストと音声のギャップを埋めることと、クリーンな音声とその内話のギャップを埋めることである。
  論文  参考訳（メタデータ） (2023-06-02T12:54:38Z)
• Multilingual Multi-Figurative Language Detection [14.799109368073548]
  比喩的言語理解は多言語環境では 非常に過小評価されています 我々は,多言語多言語言語モデリングを導入し,文レベル図形言語検出のためのベンチマークを提供する。 テンプレートに基づく即時学習に基づく図形言語検出のためのフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-05-31T18:52:41Z)
• Multilingual Multimodality: A Taxonomical Survey of Datasets, Techniques, Challenges and Opportunities [10.721189858694396]
  マルチ言語とマルチモーダル(MultiX)ストリームの統合について検討する。 我々は、並列アノテーションで研究された言語、金または銀のデータを調べ、これらのモダリティと言語がモデリングにおいてどのように相互作用するかを理解する。 モデリングアプローチの長所と短所とともに、どのシナリオを確実に使用できるのかをよりよく理解するために、モデリングアプローチについて説明します。
  論文  参考訳（メタデータ） (2022-10-30T21:46:01Z)
• Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure [54.01613740115601]
  本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。 我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
  論文  参考訳（メタデータ） (2022-03-16T07:09:35Z)
• Presentation and Analysis of a Multimodal Dataset for Grounded Language Learning [32.28310581819443]
  接地的な言語習得は、言語に基づく相互作用が周囲の世界をどのように参照するかを学ぶことを伴う。 実際には、学習に使用されるデータは、実際の人間のインタラクションよりもクリーンで、クリアで、文法的な傾向があります。 本稿では,話し言葉と書き言葉を併用した家庭内共通物体のデータセットについて述べる。
  論文  参考訳（メタデータ） (2020-07-29T17:58:04Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。