論文の概要: VisExMEM: Visual Evidence-Based Explainable Multimodal Evaluation Metric

• arxiv url: http://arxiv.org/abs/2610.16441v1
• Date: Mon, 12 Oct 2026 09:07:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.342104
• Title: VisExMEM: Visual Evidence-Based Explainable Multimodal Evaluation Metric
• Title（参考訳）: VisExMEM:ビジュアルエビデンスに基づく説明可能なマルチモーダル評価指標
• Abstract要約: VisExMEMは、キャプションを原子的クレームに分解し、視覚的エビデンスをローカライズし、各クレームを検証し、クレームレベルのサポートをグローバルスコアに平均化する参照フリー評価器である。 Qwen3.5 ベースの 4B モデルと 9B モデルを,マルチタスク SFT と反ファクトリファインダリファインメント,エビデンス対応GDPO を用いて100K サンプルでトレーニングする。 VisExMEM-9Bは、GPT-5.6 Solと競合しながら、VQAScoreを11.7ポイント上回る、オープンソース評価者の中で最も高い記述的合成を実現している。
• 参考スコア（独自算出の注目度）: 24.133725209151947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current image-text evaluation often relies on a global score, which gives limited insight into which semantic details are supported by the image. Explainable metrics provide rationales, but the visual evidence supporting those rationales can still be difficult to verify. We introduce VisExMEM, a reference-free evaluator that decomposes captions into atomic claims, localizes visual evidence, verifies each claim, and averages claim-level support into a global score. Explanations use the same evidence and decisions. We train Qwen3.5-based 4B and 9B models on 100K samples with multi-task SFT, counterfactual refinement, and evidence-aware GDPO. Across eight benchmarks, VisExMEM-9B achieves the highest descriptive composite among open-source evaluators in our comparison, exceeding VQAScore by 11.7 points while remaining competitive with GPT-5.6 Sol. We also introduce AGITA-Bench, containing 600 human-annotated image-text pairs and 8.7K atomic claims for global and claim-level evaluation. For untuned Qwen3.5 and GPT-5.6 Sol controls, decomposed prompting raises the same composite by 3.6-5.1 points relative to holistic prompting. Human evaluation shows that VisExMEM explanations outperform prior explainable metrics and approach GPT-5.6 Sol.
• Abstract（参考訳）: 現在の画像テキスト評価は、しばしばグローバルスコアに依存し、画像によってどのセマンティック詳細がサポートされているかについての限られた洞察を与える。 説明可能なメトリクスは合理性を提供しますが、これらの合理性を支持する視覚的証拠は、依然として検証が困難です。 参照不要な評価器であるVisExMEMを導入し、キャプションを原子的クレームに分解し、視覚的証拠をローカライズし、各クレームを検証し、クレームレベルのサポートをグローバルスコアに平均化する。 説明は、同じ証拠と決定を使う。 Qwen3.5 ベースの 4B モデルと 9B モデルを,マルチタスク SFT と反ファクトリファインダリファインメント,エビデンス対応GDPO を用いて100K サンプルでトレーニングする。 8つのベンチマークで、VisExMEM-9Bは、GPT-5.6 Solと競合しながら、VQAScoreを11.7ポイント上回る、オープンソース評価者の中で最も高い記述的合成を達成した。 我々はまた、AGITA-Benchを導入し、600の人間の注釈付き画像テキスト対と、グローバルおよびクレームレベルの評価のための8.7Kの原子クレームを含む。 未調整のQwen3.5 と GPT-5.6 のゾル制御では、分解プロンプトは、全体的プロンプトと比較して3.6-5.1ポイント上昇する。 人間の評価では、VisExMEMの説明は説明可能な以前の指標よりも優れており、GPT-5.6 Solに接近している。

関連論文リスト

• MIC: Explaining Image-Claim Inconsistencies in AI-Generated Multimodal Misinformation [86.6217922377209]
  MIC(Multimodal Inconsistency Checking)はAIが生成する誤情報を検出することで,人間の事実チェックを支援するAFCフレームワークである。 さらに,4,406クレームから派生した8,812の画像取得インスタンスからなるベンチマークであるMIC-Benchを紹介する。 SFTのみと比較して、GRPOはマイロF1をさらに4.67と4.11ポイント改善している。
  論文  参考訳（メタデータ） (2026-09-27T10:46:42Z)
• Seeing Parts, Reasoning about Worlds: Visual Inference under Partial Observation [55.16726869702075]
  WorldScope-1.2Mは、8つの世界特性、10のタスクインタフェース、3つの観察プロトコルにまたがる120万の英語質問応答ペアを提供する。 WorldFlowは、クロスビューエンティティエビデンスとサポート面カバレッジをイメージサブセットエビデンス格子に構成する。 WorldScope-Benchは、ビューが選択され、組み合わせられ、取り除かれ、または順序づけられるにつれて、クレーム判断と証拠に依存した結論を評価する。
  論文  参考訳（メタデータ） (2026-09-26T10:40:46Z)
• Pay More Attention To Text In High-Resolution MLLMs [19.66158464093865]
  EviSpecはトレーニング不要のコンパイラで、補完的なエビデンス仕様を導出しつつ、最終的な推論のための元の質問を保存します。 EviSpec は3つのベンチマークで対応するベースラインを一貫して改善し、それぞれ Vtextsuperscript*Bench, HR-Bench-4K, HR-Bench-8K でtextbf10.4%, 8.8%, 12.4% の平均相対的なゲインを得た。
  論文  参考訳（メタデータ） (2026-09-20T09:30:05Z)
• SciFigQual-Bench: A Benchmark for Scientific Figure Quality Assessment with Full-Manuscript Context [27.236953887247125]
  SciFigQual-Benchは5次元の科学的画像を評価するフルテキスト文脈ベンチマークである。 このデータは、2020年から2025年までのコンピュータサイエンスカンファレンスのトップをカバーしている。 従来の科学的フィギュアベンチマークとは異なり、私たちのデータセットは各イメージをキャプションにバインドし、文や原稿のコンテキストを引用します。
  論文  参考訳（メタデータ） (2026-07-29T16:07:44Z)
• VISTAQA: Benchmarking Joint Visual Question Answering and Pixel-Level Evidence [26.0945130521806]
  既存のベンチマークでは、テキストによる回答の正当性または画素レベルのローカライゼーションを分離して評価している。 本稿では,視覚的質問応答に基づく自由形式の回答正当性と画素レベルの証拠を共同評価するためのベンチマークであるVISTAQAを紹介する。 GROVEは, テキストの精度と接地品質を, サンプルごとの幾何平均で組み合わせることで, 関節の正しさを強制する指標である。
  論文  参考訳（メタデータ） (2026-05-20T03:44:06Z)
• MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents [57.32877731797049]
  MultiHaystackは、大規模なクロスモーダル条件下での検索と推論の両方を評価するために設計された最初のベンチマークである。 モデルが対応するエビデンスを付与した場合,その性能は,全コーパスからそのエビデンスを取得するために必要な場合,急激に低下することがわかった。
  論文  参考訳（メタデータ） (2026-03-05T21:43:02Z)
• SIN-Bench: Tracing Native Evidence Chains in Long-Context Multimodal Scientific Interleaved Literature [92.88058660627678]
  FITO(Fish-in-the-Ocean)パラダイムは、科学文書の中に明確なクロスモーダルなエビデンスチェーンを構築するモデルを必要とする。 我々は、証拠発見(SIN-Find)、仮説検証(SIN-Verify)、接地QA(SIN-QA)、エビデンスアンコレッド合成(SIN-Summary)の4つのプログレッシブなタスクでSIN-Benchを構築する。 検証可能なアンカーに基づき、マッチング、関連性、論理による証拠品質の診断を行う際に、予測値を評価する「No Evidence, No Score」を導入する。
  論文  参考訳（メタデータ） (2026-01-15T06:25:25Z)
• On the Factual Consistency of Text-based Explainable Recommendation Models [2.2153783542347805]
  テキストベースの説明可能なレコメンデータの事実整合性を評価するための包括的フレームワークを提案する。 レビューから原子説明文を抽出するためにLSMを用いたプロンプトベースパイプラインを設計する。 LLMとNLIをベースとした手法を組み合わせたステートメントレベルのアライメントメトリクスを提案する。
  論文  参考訳（メタデータ） (2025-12-30T17:25:15Z)
• Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
  Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。 LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
  論文  参考訳（メタデータ） (2025-11-15T02:50:23Z)
• MIRAGE: Agentic Framework for Multimodal Misinformation Detection with Web-Grounded Reasoning [0.6475163438744868]
  我々は、マルチモーダル検証を4つのシーケンシャルモジュールに分解する推論時モデルプラガブルエージェントフレームワークであるMIRAGEを提案する。 視覚的妥当性評価は、AI生成した画像を検出し、クロスモーダルな一貫性分析は、Webエビデンスにおけるアウト・オブ・コンテクストの再利用、検索強化された事実チェックの根拠を特定する。 MIRAGEは、ターゲットとするWeb検索、構造化された出力、引用リンクされた有理数を用いた視覚言語モデル推論をオーケストレーションする。
  論文  参考訳（メタデータ） (2025-10-20T14:40:26Z)
• Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology [87.65242416688146]
  TreeBenchは、ビジュアルグラウンド推論の診断ベンチマークである。 TreeVGRは、強化学習と共同でローカライゼーションと推論を監督する訓練パラダイムである。
  論文  参考訳（メタデータ） (2025-07-10T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。