論文の概要: ChartBmkAgent: Harness-Governed Multi-Agent Construction of Chart QA Benchmarks from Sparse Error-Taxonomy Specifications

• arxiv url: http://arxiv.org/abs/2610.08106v1
• Date: Tue, 06 Oct 2026 10:31:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.935956
• Title: ChartBmkAgent: Harness-Governed Multi-Agent Construction of Chart QA Benchmarks from Sparse Error-Taxonomy Specifications
• Title（参考訳）: ChartBmkAgent: スパースエラー・タクソノミー仕様によるチャートQAベンチマークの高調度マルチエージェント構築
• Abstract要約: 自動チャートQA構築は、特定されたギャップを需要に応じて対象とするサンプルにすることで、ベンチマーク開発サイクルを短縮することを目的としている。 本稿では,Sparse error-taxonomy仕様から完全なChart QAサンプルを構築することで,特定能力ギャップを対象とする診断証拠に変換するChartBmkAgentを紹介する。 300の分類学的標本では、MLLMの精度は32.7%から84.3%まで変化しており、異なるカテゴリーのプロファイルがある。
• 参考スコア（独自算出の注目度）: 40.065183138791184
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multimodal large language models (MLLMs) advance rapidly, while conventional benchmark development lags behind, delaying investigation of newly observed capability gaps. Such investigation requires an expressive task format and an on-demand construction process: information-rich charts make chart question answering (Chart QA) suitable for probing coupled perception and reasoning. Automated Chart QA construction is intended to shorten the benchmark-development cycle by turning identified gaps into targeted samples on demand. Current methods, however, commonly separate target guidance from scratch generation: target-guided systems often require prepared data, charts, or templates, while scratch-generation systems primarily ensure artifact validity, without explicitly controlling whether newly synthesized requirements and content remain aligned with an externally specified diagnostic target. We introduce ChartBmkAgent, which turns an identified capability gap into targeted diagnostic evidence by constructing complete Chart QA samples from sparse error-taxonomy specifications. Throughout construction, a central harness governs specialized agents, requires stage-specific evidence of alignment with the original error category, and records the basis for each acceptance decision. On 300 taxonomy-wide samples, MLLM accuracies ranged from 32.7% to 84.3% with distinct category profiles, showing that generated samples reveal capability differences. Across three source-model comparisons, targeted follow-ups scored 50.0% versus 82.2% on matched controls ($p=8.96\times10^{-6}$); all six cross-model comparisons had the same direction, demonstrating targeted validation and diagnostic-data generation. Multiple evaluator models assessed whether each sample tested its specified error category; 86.4% met this criterion, providing empirical evidence of target preservation.
• Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)は急速に進歩し、従来のベンチマーク開発は遅れており、新たに観測された能力ギャップの調査が遅れている。 このような調査には、表現力のあるタスク形式とオンデマンドな構築プロセスが必要である。情報豊富なチャートは、チャート質問応答(チャートQA)を、協調した知覚と推論の探索に適したものにする。 自動チャートQA構築は、特定されたギャップを需要に応じて対象とするサンプルにすることで、ベンチマーク開発サイクルを短縮することを目的としている。 ターゲット誘導システムは、しばしば準備されたデータ、チャート、テンプレートを必要とするが、スクラッチ生成システムは、新たに合成された要求とコンテンツが外部に指定された診断対象と整合しているかどうかを明示的に制御することなく、主にアーティファクトの妥当性を保証する。 本稿では,Sparse error-taxonomy仕様から完全なChart QAサンプルを構築することで,特定能力ギャップを対象とする診断証拠に変換するChartBmkAgentを紹介する。 建設全体を通じて、中央のハーネスは特別なエージェントを管理し、元のエラーカテゴリとステージ固有の証拠を必要とし、各受け入れ決定の基礎を記録する。 300の分類学的標本では、MLLMの精度は32.7%から84.3%まで変化しており、異なるカテゴリーのプロファイルがある。 3つのソースモデルの比較において、対象のフォローアップは一致した制御(p=8.96\times10^{-6}$)で50.0%対82.2%であった。 複数の評価器モデルは、それぞれのサンプルが特定のエラーカテゴリを検査したかどうかを評価し、86.4%はこの基準を満たし、標的保存の実証的な証拠を与えた。

関連論文リスト

• Diagnosing Fine-Grained Inconsistency Classification in Financial Disclosure Text [3.2712318205295907]
  財務情報開示には、数値的なクレーム、時間的ステートメント、エンティティ参照、ポリシーのコミットメント、そして質的に異なる方法で衝突する可能性のあるリスク記述が含まれる。 我々はこの問題をきめ細かい矛盾として研究する。 微調整された300Mエンコーダの精度は61.9%、ロラ適応型Qwen3.5-9Bモデルでは61.5%、GPT適応型生成モデルでは61.3%である。
  論文  参考訳（メタデータ） (2026-07-29T01:03:53Z)
• Sampling Reveals Style: Unsupervised, Training-Free Discovery of Prompt-Conditional Stylistic Axes in LLM Activations [3.5808917363708734]
  大言語モデル(LLM)は、隠れたアクティベーションにおいてリッチなスタイリスティック構造を符号化する。 トレーニング不要で、迅速な条件付き代替案を提示します。 結果の軸をポール世代から自動的にラベル付けします。
  論文  参考訳（メタデータ） (2026-07-20T11:55:26Z)
• FailureScope: Cross-Regime Behavioral Diagnosis of Language Model Weaknesses [0.0]
  FailureScopeは、クロスモデルパス/フェイルパターンによる評価プローブをクラスタ化する行動診断手法である。 通常、シングルターン・ベンチマーク、マルチターン・ダイアログ、敵エージェント・アタックの3つのレシスタンスに対して安定かつ解釈可能な障害をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-06-03T01:28:00Z)
• Auditing LLM Benchmarks with Item Response Theory [1.1455131351238124]
  LLMベンチマークラベルはリリース時に凍結され、ダウンストリームベンチマークやエラーなどすべてに静かに伝播する。 項目応答理論に基づくインジケータを導入し、上位200の例で95%の精度で誤ラベルをサーフェスする。 我々はこれらの誤りを、機械的なラベル付け、ソースデータセットから受け継がれていない上流のアノテーションの誤り、および基本的には修正可能なシングルラベルのない曖昧な項目まで追跡する。
  論文  参考訳（メタデータ） (2026-05-28T19:38:44Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Agentic Cognitive Profiling: Realigning Automated Alzheimer's Disease Detection with Clinical Construct Validity [66.94391219005291]
  本稿では,臨床プロトコルロジックによる自動スクリーニングを実現するエージェント認知プロファイリング(ACP)を提案する。 我々の設計の中心は、すべての定量化を決定論的関数呼び出しに委譲することで、測定から意味的理解を分離することである。 ACPは、タスク試験で90.5%のスコアマッチ率、AD予測で85.3%の精度を達成し、一般的な基準を上回っている。
  論文  参考訳（メタデータ） (2026-03-18T06:15:35Z)
• CausalReasoningBenchmark: A Real-World Benchmark for Disentangled Evaluation of Causal Identification and Estimation [18.187891198793455]
  CausalReasoningBenchmarkは、128の現実世界のデータセットにわたる173のクエリのベンチマークである。 因果推論における失敗と数値実行における誤りを区別する。
  論文  参考訳（メタデータ） (2026-02-24T05:44:25Z)
• VeriSciQA: An Auto-Verified Dataset for Scientific Visual Question Answering [53.662676566188175]
  重要なボトルネックは、パブリックで大規模で高品質なビジュアル質問回答(SVQA)データセットの欠如にある。 本稿では、まず、図形関連テクストコンテキストとQAペアを生成する検証中心のGenerate-then-Verifyフレームワークを提案する。 このフレームワークをインスタンス化し、20の科学的ドメインと12のフィギュアタイプからなる20,351のQAペアのデータセットであるVeriSciQAをキュレートします。
  論文  参考訳（メタデータ） (2025-11-25T04:14:52Z)
• How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
  ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。 当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
  論文  参考訳（メタデータ） (2021-02-17T18:25:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。