論文の概要: M$^3$R-Bench: A Unified Benchmark for Evidence-Grounded Multimodal Metaphor Understanding
- arxiv url: http://arxiv.org/abs/2608.05817v1
- Date: Thu, 06 Aug 2026 09:48:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.871021
- Title: M$^3$R-Bench: A Unified Benchmark for Evidence-Grounded Multimodal Metaphor Understanding
- Title（参考訳）: M$^3$R-Bench: 証明付きマルチモーダルメタファー理解のための統一ベンチマーク
- Abstract要約: マルチモーダルシナリオでは、視覚情報とテキスト情報は共同でターゲット-ソースマッピングを構築する。
既存のベンチマークは、主に孤立したサブタスクによるメタファー理解を評価する。
我々は、M$3$R-Benchという、人間認証アノテーション付き画像テキストインスタンスを1,000個含む統一ベンチマークを紹介した。
- 参考スコア（独自算出の注目度）: 28.19462994552815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Metaphor enables the understanding of abstract concepts through cross-domain mappings while conveying affective attitudes. In multimodal scenarios, visual and textual information jointly construct Target--Source mappings, requiring both conceptual understanding and cross-modal reasoning. However, existing benchmarks mainly evaluate metaphor understanding through isolated subtasks and lack evidence-grounded explanations, making it difficult to assess whether models establish mappings grounded in visual and textual cues.To address these limitations, we introduce M$^3$R-Bench, a unified and evidence-grounded benchmark containing 1,000 image--text instances with human-verified annotations. Guided by Conceptual Metaphor Theory and theories of nonliteral language understanding, M$^3$R-Bench provides joint annotations for metaphor occurrence, Target--Source mapping, sentiment, and stage-wise explanations following ``evidence identification--mapping establishment--sentiment inference.''Evaluations on M$^3$R-Bench reveal that existing models often overlook visual evidence, rely on superficial textual cues, and produce inaccurate Target--Source mappings, exposing a cross-modal evidence--mapping mismatch. To address this mismatch, we propose M$^3$R-Reasoner, which combines curriculum-based reasoning supervision with task-aware reinforcement learning to align model reasoning with metaphor interpretation. Experiments show that, with only an 8B-parameter backbone, M$^3$R-Reasoner outperforms larger proprietary MLLMs across four unified-task metrics and improves Visual Evidence and Sentiment Justification scores over GPT-5.5 by 28.45 and 30.11 points, respectively, while surpassing Claude-Sonnet-4.6 by 8.00 points in mean rubric score. The dataset and code are available at https://github.com/hongshi4/M3R-Bench.
- Abstract（参考訳）: メタファーは、感情的な態度を伝えながら、ドメイン間のマッピングを通じて抽象概念の理解を可能にする。
マルチモーダルシナリオでは、視覚的およびテキスト的情報は、概念的理解と相互モーダル推論の両方を必要とするターゲット-ソースマッピングを共同で構築する。
しかし,既存のベンチマークでは,孤立したサブタスクによるメタファー理解と,エビデンスに基づく説明の欠如を主眼として,視覚的およびテキスト的手がかりに基づくマッピングをモデルが確立するかどうかを評価することは困難であり,これらの制約に対処するために,M$^3$R-Benchを導入している。
M$^3$R-Benchは概念メタファー理論と非リテラル言語理解の理論によって導かれ、メタファーの出現、ターゲット・ソースのマッピング、感情、段階的な説明のための共同アノテーションを提供する。
「M$3$R-Benchの評価」では、既存のモデルはしばしば視覚的証拠を見落とし、表面的なテキストの手がかりに頼り、不正確なターゲット-ソースマッピングを生成し、クロスモーダルなエビデンスを明らかにする。
このミスマッチに対処するために,カリキュラムベースの推論指導とタスク対応強化学習を組み合わせたM$^3$R-Reasonerを提案する。
実験の結果、M$^3$R-Reasonerは8Bパラメートルのバックボーンしか持たず、4つの統一タスクのメトリクスでより大きなプロプライエタリなMLLMを上回り、視覚的エビデンスと感性最適化のスコアをそれぞれ28.45ポイント、30.11ポイントで、クロード・ソネット-4.6を平均8.00ポイント上回った。
データセットとコードはhttps://github.com/hongshi4/M3R-Bench.comで公開されている。
関連論文リスト
- Chart-Supported or Model-Supplied? Examining MLLM-Generated Claims for Accessible Visualization [0.5156484100374058]
マルチモーダル大言語モデル(MLLM)は、可視化パターンを外部原因、結果、ドメイン知識に結びつけることができる。
本研究では,4つのソース,3つのMLLM,4つの入力条件から102の可視化を探索する。
我々は,モデル分散DIRECT,DERIVED,SPECULATIVEラベルを分析し,数値アグリーメントの自動監査を行う。
論文 参考訳（メタデータ） (2026-07-27T19:30:56Z) - RoboPIN: Grounded Embodied Reasoning via Pinned Chain-of-Thought [50.36951914894845]
身体的推論は、物理的環境におけるタスク関連オブジェクトや空間を知覚するモデルを必要とする。
現在の視覚言語モデルは、テキストのみまたはコーディネートで拡張されたチェーン・オブ・思想に依存している。
我々は、あらゆる推論ステップを視覚的証拠にピン留めする構造化推論パラダイムであるPinned Chain-of-Thoughtを提案する。
論文 参考訳（メタデータ） (2026-06-14T11:30:42Z) - Look on Demand: A Cognitive Scheduling Framework for Visual Evidence Acquisition in Multimodal Reasoning [82.86343313807158]
我々は、視覚的証拠が推論プロセスにどのように、いつ導入されるかが中心的な課題であると主張している。
この知見により,言語モデルが推論プロセスを制御するマルチモーダル推論フレームワークCSMRを提案する。
論文 参考訳（メタデータ） (2026-05-27T08:43:13Z) - Measuring Cross-Modal Synergy: A Benchmark for VLM Explainability [16.886338830987462]
視覚言語モデル(VLM)は複雑な視覚入力を意味空間にマッピングする。
本稿では、Shapley Interaction Indexに根ざしたスケーラブルな計量であるSynergistic Faithfulness(mathcalF_syn$)を紹介する。
論文 参考訳（メタデータ） (2026-05-21T08:39:46Z) - MME-CoF-Pro: Evaluating Reasoning Coherence in Video Generative Models with Text and Visual Hints [95.27042253462963]
MME-CoF-Proはビデオモデルにおける推論コヒーレンスを評価するベンチマークである。
MME-CoF-Proは、視覚論理学から科学的推論まで、16のカテゴリにわたる303のサンプルを含んでいる。
論文 参考訳（メタデータ） (2026-03-20T17:59:56Z) - Can Unified Generation and Understanding Models Maintain Semantic Equivalence Across Different Output Modalities? [61.533560295383786]
Unified Multimodal Large Language Models (U-MLLM) は、単一のアーキテクチャ内で理解と生成を統合する。
我々は,U-MLLMが画像のモダリティにおいて同じ結果をレンダリングするために必要な場合,意味的等価性を維持することができないことを観察する。
VGUBenchは、推論ロジックを生成の忠実性から切り離すためのフレームワークである。
論文 参考訳（メタデータ） (2026-02-27T06:23:56Z) - Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。
LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
論文 参考訳（メタデータ） (2025-11-15T02:50:23Z) - VER-Bench: Evaluating MLLMs on Reasoning with Fine-Grained Visual Evidence [34.88628187460859]
VER-Benchは、細かい視覚的手がかりを識別するMLLMの能力を評価する新しいフレームワークである。
VER-Benchの各質問には、視覚的手がかりとそれらに由来する質問関連推論という、構造化された証拠が伴っている。
論文 参考訳（メタデータ） (2025-08-06T19:59:42Z) - Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology [87.65242416688146]
TreeBenchは、ビジュアルグラウンド推論の診断ベンチマークである。
TreeVGRは、強化学習と共同でローカライゼーションと推論を監督する訓練パラダイムである。
論文 参考訳（メタデータ） (2025-07-10T17:59:58Z) - VERIFY: A Benchmark of Visual Explanation and Reasoning for Investigating Multimodal Reasoning Fidelity [34.29409506366145]
VERIFYは最先端MLLMの視覚的推論能力を分離し、厳格に評価するために設計されたベンチマークである。
それぞれの問題には人手による推論パスが伴い、モデル決定プロセスの詳細な評価を初めて提供する。
本稿では,従来のモデル推論パターンにおける重要な不均衡を浮き彫りにして,単なる精度を超える視覚的推論の忠実さを評価する新しい指標を提案する。
論文 参考訳（メタデータ） (2025-03-14T16:26:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。