論文の概要: Open Your Model's Eyes: Video and Context-Aware Multimodal Backchannel Prediction

• arxiv url: http://arxiv.org/abs/2607.22729v1
• Date: Wed, 22 Jul 2026 08:10:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:14.845987
• Title: Open Your Model's Eyes: Video and Context-Aware Multimodal Backchannel Prediction
• Title（参考訳）: モデルの目を開く:ビデオとコンテキスト対応のマルチモーダルバックチャネル予測
• Abstract要約: 共感や理解などのリスナー状態を示すバックチャネルは、人間の自然な相互作用の基本である。 本稿では,MMA(Multi-Layer Multimodal Alignment)による視覚情報を活用する新しいフレームワークCAMA-BCを提案する。 実験の結果,CAMA-BCは既存手法と単純マルチモーダルベースラインの両方で有意に優れていた。
• 参考スコア（独自算出の注目度）: 19.950041454734787
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Backchannels, which signal listener states like empathy and understanding, are fundamental to natural human interaction. However, current approaches rely solely on audio and text. This omits crucial visual cues, such as facial expressions and gestures, as well as broader conversational contexts, which are necessary for accurate prediction. In this paper, we introduce Context-Aware Multimodal Alignment for Backchannel Prediction (CAMA-BC), a novel framework that leverages visual information through Multi-Layer Multimodal Alignment (MMA). Our alignment process comprises two stages. First, Context Alignment (MMA-CA) utilizes unlabeled dialogues with videos to capture conversational contexts. Next, Backchannel Alignment (MMA-BA) fine-tunes the representations specifically for backchannel prediction. Experimental results show that CAMA-BC significantly outperforms both existing methods and simple multimodal baselines, with particular effectiveness in recognizing complex backchannels such as empathy.
• Abstract（参考訳）: 共感や理解などのリスナー状態を示すバックチャネルは、人間の自然な相互作用の基本である。 しかし、現在のアプローチは音声とテキストのみに依存している。 これにより、表情やジェスチャーなどの重要な視覚的手がかりや、正確な予測に必要な会話のコンテキストが省略される。 本稿では,MMA(Multi-Layer Multimodal Alignment)を通して視覚情報を活用する新しいフレームワークであるCAMA-BC(Context-Aware Multimodal Alignment for Back Channel Prediction)を紹介する。 我々のアライメントプロセスは2つの段階から成る。 まず、コンテキストアライメント(MMA-CA)は、ビデオとのラベルのない対話を利用して会話のコンテキストをキャプチャする。 次に、バックチャネルアライメント(MMA-BA)は、バックチャネル予測に特化して表現を微調整する。 実験の結果,CAMA-BCは既存手法と単純マルチモーダルベースラインの両方で有意に優れており,特に共感などの複雑なバックチャネルの認識に有効であることが示唆された。

関連論文リスト

• Aligning Backchannel and Dialogue Context Representations via Contrastive LLM Fine-Tuning [8.889205646367058]
  バックチャネルは短い非断続的なフィードバック信号であり、語彙形式と韻律はプラグマティックな意味を共同で伝達する。 本稿では,2段階のフレームワークを提案する。まず,対話文を微調整した大規模言語モデルを用いて,リッチな文脈表現を導出する。 我々は,3進的類似性判断(韻律的および相互語彙的)と文脈バックチャネル適合性タスクを用いて,人間の知覚との整合性を評価する。
  論文  参考訳（メタデータ） (2026-04-17T18:19:32Z)
• Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
  本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。 提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
  論文  参考訳（メタデータ） (2025-10-11T06:36:59Z)
• Friends-MMC: A Dataset for Multi-modal Multi-party Conversation Understanding [44.870165050047355]
  マルチモーダル・マルチパーティ・会話(MMC)は、あまり研究されていないが重要な研究テーマである。 MMCは、視覚とテキストの両方の文脈に多くのインターロケータが存在するため、文字中心の理解能力を必要とする。 ビデオコンテキストと組み合わせた24,000以上のユニークな発話を含むMCCデータセットであるFriends-MMCを提案する。
  論文  参考訳（メタデータ） (2024-12-23T05:32:48Z)
• Answering Diverse Questions via Text Attached with Key Audio-Visual Clues [24.347420432207283]
  本稿では,相互相関蒸留(MCD)を行うための枠組みを提案する。 提案手法は,複数の問合せ対を含む2つの公開データセットに対して評価する。
  論文  参考訳（メタデータ） (2024-03-11T12:51:37Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• CLOP: Video-and-Language Pre-Training with Knowledge Regularizations [43.09248976105326]
  ビデオと言語による事前学習は、一般化可能な表現を学習するための有望な結果を示している。 このような表現形式を構造的知識として表現し、複数の粒度のリッチな意味論を表現する。 知識正規化を用いたCLOP(Cross-modaL knedgeOwl-enhanced Pre-training)法を提案する。
  論文  参考訳（メタデータ） (2022-11-07T05:32:12Z)
• Towards Fast Adaptation of Pretrained Contrastive Models for Multi-channel Video-Language Retrieval [70.30052749168013]
  マルチチャンネルビデオ言語検索は、異なるチャンネルからの情報を理解するためにモデルを必要とする。 対照的なマルチモーダルモデルは、画像やビデオやテキストのエンティティの整合に非常に効果的であることが示されている。 これら2つの行を、限られたデータとリソースを持つマルチチャンネルビデオ言語検索に迅速に適応する方法は、明らかではない。
  論文  参考訳（メタデータ） (2022-06-05T01:43:52Z)
• Single-Stream Multi-Level Alignment for Vision-Language Pretraining [103.09776737512078]
  モーダルを複数のレベルで整列させる単一ストリームモデルを提案する。 対称的相互モダリティ再構築と擬似ラベル付きキーワード予測という2つの新しいタスクを用いてこれを実現する。 我々は、ゼロショット/ファインチューニングされた画像/テキスト検索、参照表現、VQAといった一連の視覚言語タスクにおいて、トップパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-03-27T21:16:10Z)
• Learning to Predict Salient Faces: A Novel Visual-Audio Saliency Model [96.24038430433885]
  本稿では,視覚,音声,顔の3つの分枝からなるマルチモーダルビデオサリエンシーモデルを提案する。 実験結果から,提案手法は,11の最先端サリエンシ予測作業より優れていた。
  論文  参考訳（メタデータ） (2021-03-29T09:09:39Z)
• VX2TEXT: End-to-End Learning of Video-Based Text Generation From Multimodal Inputs [103.99315770490163]
  本稿では,ビデオ+テキスト,音声,音声によるマルチモーダル入力からテキストを生成するフレームワークを提案する。 実験により、一つのアーキテクチャに基づくアプローチは、3つのビデオベースのテキスト生成タスクにおいて最先端のタスクより優れていることが示された。
  論文  参考訳（メタデータ） (2021-01-28T15:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。