論文の概要: CEMIR vs. FISER: a comparative study of reasoning-based and enrichment-based approaches to pragmatic intent recognition

• arxiv url: http://arxiv.org/abs/2610.32022v1
• Date: Fri, 23 Oct 2026 00:48:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.315321
• Title: CEMIR vs. FISER: a comparative study of reasoning-based and enrichment-based approaches to pragmatic intent recognition
• Title（参考訳）: CEMIR vs. FISER:実践的意図認識のための推論とエンリッチメントに基づくアプローチの比較研究
• Abstract要約: FISERとCEMIRをベンチマークした比較診断研究を報告する。 FISERとCEMIRのパフォーマンスは、どのモデルや難易度においても統計的に有意な差はない。
• 参考スコア（独自算出の注目度）: 0.974918946585139
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Intent recognition in human-robot interaction requires agents to resolve ambiguous natural language instructions by inferring the speaker's underlying goals. Research has increasingly focused on two notable paradigms for addressing this task: structured symbolic reasoning and multimodal input enrichment. However, it remains unclear whether enrichment-based methods provide benefit in settings where the ambiguity concerns unstated human intent rather than missing observable scene information. In this paper, we present a comparative and diagnostic study benchmarking FISER - a framework utilizing structured social and embodied reasoning - against CEMIR (Context-Enriched Multimodal Intent Recognition), a method that performs multimodal enrichment by synthesizing narratives and photorealistic images from textual prompts. By evaluating both approaches across four Large Language Models (LLMs), ranging from Qwen2.5-Omni-3B to GPT-5, on the HandMeThat v2 benchmark, we analyze their capability to resolve pragmatic ambiguities. Our statistical analysis, employing multiple-comparison correction, reveals no statistically significant difference in performance between FISER and CEMIR across any model or difficulty level. This pattern holds across all sixteen model-by-difficulty comparisons, as well as in a targeted ablation isolating CEMIR's narrative and visual components. Instead, performance is primarily associated with backbone capability and the inherent difficulty of the ambiguity. These findings suggest a boundary condition for text-derived multimodal enrichment: when the relevant task constraints are already available in the textual instruction, synthetic multimodal augmentation may not provide measurable benefit over structured reasoning on the same text.
• Abstract（参考訳）: 人間とロボットの相互作用におけるインテント認識は、話者の根底にある目標を推測することで、不明瞭な自然言語命令を解決するためにエージェントを必要とする。 この課題に対処する2つの重要なパラダイム – 構造化記号推論とマルチモーダル入力強化 – に注目が集まっている。 しかし、エンリッチメントに基づく手法が、観測可能なシーン情報を欠くのではなく、あいまいさが人間の意図に関係しているような環境での利益をもたらすかどうかは不明だ。 本稿では,CEMIR(Context-Enriched Multimodal Intent Recognition)に対する構造的社会的および具体的推論を利用したフレームワークであるFISER(FISER)を,テキストプロンプトから物語やフォトリアリスティックなイメージを合成してマルチモーダルエンリッチメントを実現する手法と比較・診断する。 Qwen2.5-Omni-3B から GPT-5 までの 4 つの大言語モデル (LLMs) の2つのアプローチを HandMeThat v2 ベンチマークで評価することにより,現実的な曖昧さを解決する能力の解析を行う。 FISERとCEMIRの性能は, モデルや難易度において, 統計的に有意な差は認められなかった。 このパターンは、CEMIRの物語と視覚的要素を分離するターゲットのアブレーションと同様に、16のモデル・バイ・ディフルトの比較をすべてカバーしている。 代わりに、パフォーマンスは主にバックボーン機能とあいまいさの固有の難しさに関連しています。 これらの結果から,テキスト由来のマルチモーダルエンリッチメントの境界条件が示唆された。テキスト命令ですでに関連するタスク制約が利用できる場合,合成マルチモーダルエンリッチメントは,同じテキスト上の構造化推論よりも有意な利点を得られない可能性がある。

関連論文リスト

• Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach [52.92973028971813]
  ビデオレベルのアンビバレンスとヘシタシー認識のための単一のテキスト中心マルチモーダルアプローチを提案する。 提案手法は,テキスト中心のマルチモーダル融合モデルを用いて,言語的,音響的,顔的,シーン的特徴を組み合わせたものである。 行動共生/衛生(BAH)コーパスの実験は、テキストが最強の単調なモダリティであることを確認した。
  論文  参考訳（メタデータ） (2026-07-16T08:04:23Z)
• Stable Language Guidance for Vision-Language-Action Models [62.80963701282789]
  残留セマンティックステアリング(Residual Semantic Steering)は、セマンティック実行から身体的余裕を逸脱する確率的フレームワークである。 RSSは最先端の堅牢性を実現し、敵対的な言語摂動の下でも性能を維持する。
  論文  参考訳（メタデータ） (2026-01-07T16:16:10Z)
• Can Generated Images Serve as a Viable Modality for Text-Centric Multimodal Learning? [3.966028515034415]
  本研究は,テキスト・トゥ・イメージ(T2I)モデルにより生成した画像が,テキスト中心のタスクにおいて重要な相補的モダリティとして機能するかどうかを体系的に検討する。
  論文  参考訳（メタデータ） (2025-06-21T07:32:09Z)
• MUCAR: Benchmarking Multilingual Cross-Modal Ambiguity Resolution for Multimodal Large Language Models [19.241274582769037]
  MLLM(Multimodal Large Language Models)は多くの視覚言語タスクにおいて大きな進歩を見せている。 マルチランガルおよびクロスモーダルシナリオ間のマルチモーダル曖昧性解決を明示的に評価するために設計された新しいベンチマークであるMUCARを紹介する。
  論文  参考訳（メタデータ） (2025-06-20T14:57:41Z)
• Semantic Matters: Multimodal Features for Affective Analysis [5.691287789660795]
  本研究では,情緒的ミミリティ・インテンシティ・アセスメント・チャレンジ(EMI)と行動的あいまいさ・ヘシデンシー・アセスメント・チャレンジ(BAH)の2つの課題について提案する。 我々は,大規模なポッドキャストデータセット上で事前学習したWav2Vec 2.0モデルを用いて,様々な音声特徴を抽出する。 テキストと視覚のモダリティを分析に統合し、意味的コンテンツが貴重な文脈的手がかりを提供すると認識する。
  論文  参考訳（メタデータ） (2025-03-16T11:30:44Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning [89.92601337474954]
  プラグマティック推論は、実生活における会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担っている。 そこで我々は,現実的な推論と会話理解の場所に関するマシンの能力のベンチマークを目的とした,新しい挑戦であるDiPlomatを紹介した。
  論文  参考訳（メタデータ） (2023-06-15T10:41:23Z)
• Multimodal Relation Extraction with Cross-Modal Retrieval and Synthesis [89.04041100520881]
  本研究は,対象物,文,画像全体に基づいて,テキストおよび視覚的証拠を検索することを提案する。 我々は,オブジェクトレベル,画像レベル,文レベル情報を合成し,同一性と異なるモダリティ間の推論を改善する新しい手法を開発した。
  論文  参考訳（メタデータ） (2023-05-25T15:26:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。