論文の概要: LegendBench: A Diagnostic Benchmark for Legend Understanding with Counterfactual Interventions

• arxiv url: http://arxiv.org/abs/2609.24172v1
• Date: Mon, 21 Sep 2026 06:42:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.108828
• Title: LegendBench: A Diagnostic Benchmark for Legend Understanding with Counterfactual Interventions
• Title（参考訳）: LegendBench: 対実的介入によるレジェンド理解のための診断ベンチマーク
• Abstract要約: LegendBenchは、ターゲットとする伝説中心のテストケースを生成する、ベンチマークと生成パイプラインである。 汎用チャートモデルと特殊チャートモデルの両方を評価し,その機能プロファイルを生成する。 次に、これらの機能プロファイルを使用して、ターゲットの微調整をガイドし、ボトルネック固有の介入が、ローカライズされた機能ギャップを効果的に閉じることを示す。
• 参考スコア（独自算出の注目度）: 8.032436710666227
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Legends are fundamental to chart understanding, as reliable interpretation requires correctly binding legend entries to corresponding visual marks. While vision-language models (VLMs) are increasingly applied to chart understanding, their legend understanding is poorly diagnosed by aggregate accuracy, which can be satisfied by superficial shortcuts and confound legend-specific errors with other reasoning failures. To enable fine-grained diagnosis and controlled testing, we introduce LegendBench, a parametric benchmark and generation pipeline that produces targeted legend-centric test cases. LegendBench contributes (1) a capability-task taxonomy spanning legend parsing, legend grounding, legend-conditioned reasoning, and legend-aware abstention to localize failures, and (2) counterfactual group generation, where each base chart yields multiple variants under controlled legend interventions to probe model invariance and sensitivity. Using LegendBench, we evaluate both general-purpose VLMs and specialized chart models and generate their capability profiles, revealing persistent bottlenecks in reliable legend-to-mark binding and counterfactual consistency. We then use these capability profiles to guide targeted fine-tuning, demonstrating that bottleneck-specific interventions can effectively close the localized capability gaps and generalize to unseen data. We further leverage our counterfactual design to conduct fine-grained diagnostic experiments, analyzing encoding-channel effects, legend-order shortcuts, and abstention under varying visibility.
• Abstract（参考訳）: 伝説は、信頼できる解釈は、伝説のエントリを対応する視覚的マークに正しく結び付ける必要があるため、チャート理解の基盤となる。 視覚言語モデル(VLM)は、チャート理解にますます応用されているが、それらの伝説的理解は、表面的なショートカットや、他の推論失敗と相反する伝説的エラーによって満たされる、集合的精度によって不十分に診断される。 詳細な診断と制御されたテストを可能にするため、パラメトリックベンチマークと生成パイプラインであるRegendBenchを導入し、ターゲットとするレジェンド中心のテストケースを生成する。 レジェンドベンチは,(1)伝説的解析,伝説的根拠,伝説的条件に基づく推論,および失敗の局所化に対する伝説的排除を対象とする能力的タスクの分類に寄与し,(2)各基準チャートが制御された伝説的介入の下で複数の変種を生成し,モデルの不変性と感度を調査する反実的グループ生成を担っている。 LegendBenchを用いて、汎用VLMと特殊チャートモデルの両方を評価し、それらの機能プロファイルを生成し、信頼性の高いレジェンド・ツー・マークのバインディングと反ファクトの一貫性において永続的なボトルネックを明らかにする。 次に、これらの機能プロファイルを使用して、ターゲットの微調整をガイドし、ボトルネック固有の介入が、局所化された能力ギャップを効果的に閉じ、目に見えないデータに一般化できることを実証する。 さらに,本手法を応用して,微細な診断実験を行い,符号化チャネル効果,伝説的なショートカット,そして可視性の変化による中断を解析する。

関連論文リスト

• DEEPCHART: How Far are LLMs from Faithful Data-Science Chart Generation? [54.230123199584305]
  DEEPCHARTは、現実世界の科学論文やファイナンシャルファイリング、エコシステムレポートから1,482のグラフ生成インスタンスのエキスパートによるベンチマークである。 最先端のモデルを用いた実験では、視覚的に可視なチャートは、しばしばデータレベルの幻覚を隠蔽し、リアルな長期およびマルチモーダルな設定で一般的な抽出と推論エラーを隠蔽している。
  論文  参考訳（メタデータ） (2026-08-27T07:53:08Z)
• Beyond Binary Success: A Diagnostic Meta-Evaluation Framework for Fine-Grained Manipulation [98.79811866787263]
  診断メタ評価フレームワークであるMetaFineを紹介する。 局所的な空間構造を保存できる視覚エンコーダの能力は,きめ細かな精度の鍵となるボトルネックである。 評価をランキングから診断にシフトすることで、MetaFineは、ベンチマークを実際の物理デキスタリティに基づく階層化された能力の修復のための実行可能なコンパスに変換する。
  論文  参考訳（メタデータ） (2026-05-19T15:25:13Z)
• Dual-Teacher Distillation with Subnetwork Rectification for Black-Box Domain Adaptation [69.7036779439312]
  ブラックボックスドメイン適応は、非常に実用的で非常に困難な設定である。 ブラックボックスソースモデルに埋め込まれた特定の知識を活用するサブネットワーク整合モデル(DDSR)を用いた二重蒸留法を提案する。 我々の手法は、ソースデータやモデルの使用を含む、最先端の手法に対する一貫した改善を実証する。
  論文  参考訳（メタデータ） (2026-03-24T07:54:19Z)
• HAAF: Hierarchical Adaptation and Alignment of Foundation Models for Few-Shot Pathology Anomaly Detection [10.649984141835189]
  階層型適応アライメントフレームワーク(HAAF)を提案する。 中心となるのは、シーケンシャルなキャリブレーション順序を強制するクロスレベルスケールアライメント機構である。 デュアルブランチ推論戦略は、セマンティックスコアと幾何学的プロトタイプを統合して、数ショット設定での安定性を確保する。
  論文  参考訳（メタデータ） (2026-01-24T10:31:21Z)
• XBench: A Comprehensive Benchmark for Visual-Language Explanations in Chest Radiography [6.447908430647854]
  胸部X線におけるクロスモーダル解釈性を評価するための最初の体系的ベンチマークを示す。 我々は,クロスアテンションと類似性に基づくローカライズマップを用いた視覚的説明を生成する。 複数の病理組織を横断する放射線診断領域とのアライメントを定量的に評価した。
  論文  参考訳（メタデータ） (2025-10-22T13:52:19Z)
• Detecting Token-Level Hallucinations Using Variance Signals: A Reference-Free Approach [0.0]
  大規模言語モデル(LLM)は、様々なタスクにまたがる印象的な生成能力を示したが、幻覚に弱いままである。 複数世代にわたるトークンログ確率のばらつきを利用した,参照不要なトークンレベルの幻覚検出フレームワークを提案する。 我々のアプローチは、モデルに依存しず、解釈可能であり、リアルタイムまたはポストホック分析に適している。
  論文  参考訳（メタデータ） (2025-07-05T19:20:59Z)
• How Execution Features Relate to Failures: An Empirical Study and Diagnosis Approach [11.857060911501016]
  障害のローカライゼーションは、障害の原因となる可能性のあるコード領域を特定することを目的としている。 従来のテクニックは主にステートメントの実行と失敗を関連付けています。 我々は17の実行特徴を分析し,その相関性を評価した。
  論文  参考訳（メタデータ） (2025-02-25T22:00:05Z)
• DAGnosis: Localized Identification of Data Inconsistencies using Structures [73.39285449012255]
  機械学習モデルを確実に使用するためには、デプロイメント時のデータの不整合の特定と適切な処理が不可欠である。 我々は,有向非巡回グラフ(DAG)を用いて,トレーニングセットの特徴分布と非依存性を構造として符号化する。 我々の手法はDAGnosisと呼ばれ、これらの構造的相互作用を利用して、価値があり洞察に富んだデータ中心の結論をもたらす。
  論文  参考訳（メタデータ） (2024-02-26T11:29:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。