論文の概要: Contextualized Evaluation of Vision Language Models through Dynamic, Multi-turn Interactions
- arxiv url: http://arxiv.org/abs/2607.14499v1
- Date: Thu, 16 Jul 2026 02:25:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:32.958256
- Title: Contextualized Evaluation of Vision Language Models through Dynamic, Multi-turn Interactions
- Title（参考訳）: 動的・マルチターン相互作用による視覚言語モデルの文脈的評価
- Abstract要約: 本稿では,評価モデルと自動検査器,グルーパーの3つのインタラクションとして評価をリキャストするフレームワークを提案する。
状態空間遷移をナビゲートすることで、CEDIは、明確化要求から敵のプローブまで、さまざまな戦略を展開し、パフォーマンスのエビデンスを引き出す。
幻覚はしばしば、自己強化的な対話履歴を通じて長い文脈に蓄積され、モデルは特に、前提的拒絶や拒絶を必要とする問題に対して脆弱であることを示す。
- 参考スコア（独自算出の注目度）: 15.505991441542372
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-modal Large Language Models (MLLMs) have made substantial advances on benchmarks, yet their real-world effectiveness remains uncertain. This gap stems from the fundamental misalignment between benchmarks in controlled, static settings and the dynamic, interactive, and contextualized nature of real-world applications. To bridge this gap, we propose CEDI (Contextualized Evaluations of MLLMs through Dynamic, multi-round Interactions), a framework that recasts evaluation as a three-party interaction between an evaluatee model, an automated examiner, and a grader. The examiner conducts multi-turn, semi-structured conversation guided by a graph-based representation of the task. By navigating state-space transitions, CEDI deploys diverse strategies, from clarification requests to adversarial probes, to elicit performance evidence. We apply CEDI to visual hallucinations. Empirical results across multiple models, diverse settings, datasets, and domains show that contextualized, interactive evaluations reveal not only significantly more hallucinations than conventional static evaluation but also ones that more closely resemble those arising in practical use cases. We further show that hallucinations often accumulate over long contexts, through self-reinforcing dialogue history, and models are particularly vulnerable to questions requiring premise rejection or refusal. Together, these findings highlight CEDI as a step toward realistic, systematic, and ecologically valid assessments of MLLMs' capabilities. Code is available at github.com/williamium3000/cedi.
- Abstract（参考訳）: MLLM(Multi-modal Large Language Models)は、ベンチマークにおいてかなりの進歩を遂げているが、実際の有効性は定かではない。
このギャップは、制御された静的な設定のベンチマークと、現実世界のアプリケーションの動的、インタラクティブ、コンテキスト化された性質の基本的なミスアライメントに由来する。
このギャップを埋めるために,評価モデル,自動検査器,およびグレーダ間の3つのインタラクションとして評価をリキャストするフレームワークであるCEDI(Contextualized Evaluations of MLLMs through Dynamic, Multi-round Interactions)を提案する。
調査者は、タスクのグラフベース表現によって案内される多ターン半構造化された会話を行う。
状態空間移行をナビゲートすることで、CEDIは、明確化要求から敵のプローブまで、さまざまな戦略を展開し、パフォーマンスのエビデンスを引き出す。
視覚幻覚にCEDIを適用した。
複数のモデル、多様な設定、データセット、ドメインにまたがる実証的な結果から、コンテキスト化されたインタラクティブな評価は、従来の静的評価よりもはるかに多くの幻覚を示すだけでなく、実践的なユースケースで発生するものに近いものも示している。
さらに, 幻覚は, 自己強化的対話履歴を通じて, 長い文脈で蓄積されることがしばしばあり, モデルは特に, 前提的拒絶や拒絶を必要とする問題に対して脆弱であることを示す。
これらとともに、CEDIは、MLLMの能力の現実的、体系的、生態学的に有効な評価への一歩として強調されている。
コードはgithub.com/williamium3000/cediで入手できる。
関連論文リスト
- Beyond Static Dialogues: Benchmarking Realistic, Heterogeneous, and Evolving Long-Term Memory [54.947805187562274]
動的時間的進化と長期コヒーレンスを示す多様な相互作用シナリオにまたがる現実的な対話を導入する。
その結果得られたベンチマークは、7つの調査タイプにまたがる挑戦的な質問と回答のペアを含んでいる。
現在研究されている27の重要な記憶特性のうち、少なくとも1つを同定する。
論文 参考訳（メタデータ） (2026-05-29T09:51:22Z) - PENDULUM: A Benchmark for Assessing Sycophancy in Multimodal Large Language Models [43.767942065379366]
サイコファシー(英: Sycophancy)は、AIモデルが実際の正確さや視覚的証拠の矛盾を犠牲にしてユーザー入力に同意する傾向である。
約2000組の視覚質問応答対からなる総合評価ベンチマーク「textitPENDULUM」を導入する。
本研究は, モデルロバスト性およびサイコファンおよび幻覚行動に対する感受性の顕著な変動を観察する。
論文 参考訳（メタデータ） (2025-12-22T12:49:12Z) - Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。
モーダル内相互作用を利用した解釈可能性の向上を提案する。
論文 参考訳（メタデータ） (2025-09-26T14:39:13Z) - KnowDR-REC: A Benchmark for Referring Expression Comprehension with Real-World Knowledge [1.5833270109954136]
本研究では,実世界の知識に基づいて構築されたKnowDR-RECを提案する。
我々は、KnowDR-REC上で16の最先端マルチモーダルモデルを評価し、既存のMLLMが知識駆動型視覚接地作業に苦戦していることを示す実験結果を得た。
論文 参考訳（メタデータ） (2025-08-12T19:43:44Z) - V-MAGE: A Game Evaluation Framework for Assessing Vision-Centric Capabilities in Multimodal Large Language Models [84.27290155010533]
本稿では,視覚中心型多機能ゲーム評価(V-MAGE)について紹介する。
V-MAGEは、30以上の慎重に構築された評価シナリオからなる5つの異なるビデオゲームを特徴としている。
V-MAGEは、動的かつインタラクティブな設定において、MLLMの視覚的および推論能力を改善するために実行可能な洞察を提供する。
論文 参考訳（メタデータ） (2025-04-08T15:43:01Z) - Dynamic benchmarking framework for LLM-based conversational data capture [0.0]
本稿では,大規模言語モデル(LLM)を評価するためのベンチマークフレームワークを提案する。
生成エージェントシミュレーションを統合して、情報抽出、コンテキスト認識、適応エンゲージメントといった重要次元のパフォーマンスを評価する。
その結果,不明瞭な応答を扱う場合,適応戦略によりデータの抽出精度が向上することが示唆された。
論文 参考訳（メタデータ） (2025-02-04T15:47:47Z) - MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。
MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。
インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
論文 参考訳（メタデータ） (2024-10-14T04:15:00Z) - VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。
既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。
対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
論文 参考訳（メタデータ） (2024-04-22T04:49:22Z) - 'What are you referring to?' Evaluating the Ability of Multi-Modal
Dialogue Models to Process Clarificational Exchanges [65.03196674816772]
参照表現が宛先に対して意図された参照を一意に識別しない場合、参照の曖昧さが対話で生じる。
出席者は、通常、そのような曖昧さをすぐに検知し、メタコミュニケーション、明確化取引所(CE: Meta-communicative, Clarification Exchanges)を使用して、話者と作業する。
ここでは、CRを生成・応答する能力は、マルチモーダルな視覚的基盤を持つ対話モデルのアーキテクチャと目的関数に特定の制約を課していると論じる。
論文 参考訳（メタデータ） (2023-07-28T13:44:33Z) - Representation-Centric Survey of Skeletal Action Recognition and the ANUBIS Benchmark [43.00059447663327]
3Dスケルトンに基づく人間の行動認識は、従来のRGBや深さに基づくアプローチの強力な代替手段として登場した。
目覚ましい進歩にもかかわらず、現在の研究は様々な入力表現で断片化されている。
ANUBISは、既存のベンチマークで重要なギャップに対処するために設計された、大規模で挑戦的なスケルトンアクションデータセットである。
論文 参考訳（メタデータ） (2022-05-04T14:03:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。