論文の概要: Investigating Multimodal Informativity under Different Partner Visibility Conditions in Video-Mediated Dialogue

• arxiv url: http://arxiv.org/abs/2608.08915v1
• Date: Sun, 09 Aug 2026 21:08:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.993557
• Title: Investigating Multimodal Informativity under Different Partner Visibility Conditions in Video-Mediated Dialogue
• Title（参考訳）: ビデオ対話におけるパートナー可視条件の違いによるマルチモーダルインフォーマティビティの検討
• Abstract要約: マルチモーダル対話における参照情報ジェスチャと音声の組み合わせについて検討する。 我々は,ビデオによる参照通信ゲームにおいて,意図した参照を識別するモデルを構築した。
• 参考スコア（独自算出の注目度）: 4.916688229811061
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Situated language use is multimodal and embodied. For example, gestures can carry information that is absent or underspecified in the speech signal, yet dialogue models typically rely on transcripts alone. We study how much referential information gestures and their combination with speech carry in multimodal dialogue under different partner visibility conditions. % We build models that identify the intended referent in a video-mediated referential communication game based on either the speech transcript, the skeletal representation of gesture, or both modalities. Our results show that gesture alone is predictive of the intended referent and that multimodal fusion is most beneficial when the transcript-based model is uncertain. Training-only alignment of learned representations with the referent image further improves the fusion model performance. % In a comparison with human interaction data, we further see pragmatic effects of interlocutor visibility on gesture production and informativeness as well as an entrainment effect in speech and multimodal, but not gesture, performance across rounds of repeated interaction. We thus make contributions to the technical modelling of multimodal information in human dialogue and the analysis of human interaction data via trained model representations.
• Abstract（参考訳）: 言語の使用は多用され、具体化されている。 例えば、ジェスチャーは音声信号に欠落または不特定な情報を運ぶことができるが、対話モデルは典型的には文字起こしのみに依存する。 パートナーの視認性が異なる条件下でのマルチモーダル対話において,参照情報ジェスチャと音声の組み合わせがどの程度の頻度で伝達されるかを検討する。 % 音声の書き起こし,ジェスチャーの骨格表現,あるいは両方のモダリティに基づいて,ビデオによる参照通信ゲームにおいて意図された参照を識別するモデルを構築した。 以上の結果から,ジェスチャのみが意図した参照の予測であり,転写モデルが不確実な場合にはマルチモーダル融合が最も有用であることが示唆された。 学習した表現と参照画像とのトレーニングのみのアライメントにより、融合モデルの性能がさらに向上する。 %) と, 対話データとの比較では, 対話の繰り返しのラウンドにまたがって, 発話やマルチモーダルのエントレメント効果だけでなく, 対話における対話の可視性や情報伝達性に対する実践的効果も見いだすことができた。 そこで我々は,人間対話におけるマルチモーダル情報の技術的モデリングや,訓練されたモデル表現による人間のインタラクションデータの解析に貢献する。

関連論文リスト

• MT-PingEval: Evaluating Multi-Turn Collaboration with Private Information Games [70.37904949359938]
  我々は,プライベート情報に関する効果的なコミュニケーションを必要とする協調ゲーム群を用いて,マルチターンインタラクションにおける言語モデルの評価を行った。 言語モデルでは,非対話的なベースラインシナリオを改善するために,対話的なコラボレーションを利用できないことがわかった。 我々は,これらの対話の言語的特徴を分析し,サイコフナンシー,情報密度,談話コヒーレンスの役割を評価する。
  論文  参考訳（メタデータ） (2026-02-27T17:13:20Z)
• I see what you mean: Co-Speech Gestures for Reference Resolution in Multimodal Dialogue [5.0332064683666005]
  本稿では,表現ジェスチャを中心としたマルチモーダル参照解決タスクを提案する。 頑健なジェスチャー埋め込みを学習する上での課題を同時に解決する。 本研究は,人間と機械の相互作用のより自然主義的なモデルに向けての一歩となる,参照分解におけるジェスチャーと音声の相補的役割を強調した。
  論文  参考訳（メタデータ） (2025-02-27T17:28:12Z)
• Hierarchical Banzhaf Interaction for General Video-Language Representation Learning [60.44337740854767]
  マルチモーダル表現学習は人工知能領域において重要な役割を担っている。 本稿では,多変量協調ゲーム理論を用いて,ビデオテキストをゲームプレイヤーとしてモデル化する手法を提案する。 元の構造をフレキシブルなエンコーダ・デコーダ・フレームワークに拡張し、モデルが様々な下流タスクに適応できるようにする。
  論文  参考訳（メタデータ） (2024-12-30T14:09:15Z)
• DER-GCN: Dialogue and Event Relation-Aware Graph Convolutional Neural Network for Multimodal Dialogue Emotion Recognition [14.639340916340801]
  本稿では,多モーダル感情認識(DER-GCN)のための新しい対話・イベント関係対応グラフ畳み込みニューラルネットワークを提案する。 話者間の対話関係をモデル化し、潜在イベント関係情報をキャプチャする。 DER-GCNモデルの有効性を検証したIEMOCAPおよびMELDベンチマークデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-12-17T01:49:40Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• Collaborative Reasoning on Multi-Modal Semantic Graphs for Video-Grounded Dialogue Generation [53.87485260058957]
  本研究では,対話コンテキストと関連ビデオに基づいて応答を生成するビデオグラウンド・ダイアログ生成について検討する。 本課題の主な課題は,(1)事前学習言語モデル(PLM)に映像データを統合することの難しさである。 異なるモーダルの推論を協調的に行うマルチエージェント強化学習法を提案する。
  論文  参考訳（メタデータ） (2022-10-22T14:45:29Z)
• Modeling Coreference Relations in Visual Dialog [18.926582410644375]
  ダイアログにおけるコア参照関係の発生は、視覚的質問応答よりも難しい課題となる。 教師なしの方法でダイアログにおけるコア参照を解消するモデルの能力を改善する2つのソフト制約を提案する。
  論文  参考訳（メタデータ） (2022-03-06T15:22:24Z)
• Neuro-Symbolic Representations for Video Captioning: A Case for Leveraging Inductive Biases for Vision and Language [148.0843278195794]
  ビデオキャプションのためのマルチモーダルなニューラルシンボリック表現を学習するための新しいモデルアーキテクチャを提案する。 本手法では,ビデオ間の関係を学習する辞書学習手法と,そのペアによるテキスト記述を用いる。
  論文  参考訳（メタデータ） (2020-11-18T20:21:19Z)
• Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue [76.88174667929665]
  マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。 既存の検索に基づくマルチターン対話モデルでは、事前訓練された言語モデル(PrLM)をエンコーダとして、対話を粗く表現する。 本稿では,対話履歴に係わる効果的な発話認識表現と話者認識表現をモデル化することにより,そのようなギャップを埋める新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-14T15:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。