論文の概要: VisAudit: Evaluating Multimodal Agents for Visual Diagnosis and Repair

• arxiv url: http://arxiv.org/abs/2610.02399v1
• Date: Thu, 01 Oct 2026 19:26:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.058441
• Title: VisAudit: Evaluating Multimodal Agents for Visual Diagnosis and Repair
• Title（参考訳）: VisAudit:視覚診断と修復のためのマルチモーダルエージェントの評価
• Abstract要約: 可視化診断,修復,検証を行うベンチマークであるVisAuditを紹介する。 VisAuditは、診断された修理、自律的な修理、そしてオープンワールドの検証の3つのトラックを定義している。 先行するマルチモーダルモデルによる実験は、信頼性の高い自律的レビューとはかなりの差がある。
• 参考スコア（独自算出の注目度）: 30.356354447227215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal agents are increasingly used for data visualization tasks but remain limited in autonomous review. Unlike humans, they may fail to recognize when a visualization is incorrect, determine what to change, repair it without disrupting correct content, and verify whether the intervention succeeded. Existing benchmarks largely evaluate predefined individual capabilities such as chart generation, instruction-guided editing, or defect detection, and therefore do not capture this gap in autonomous review. We introduce VisAudit, a benchmark for evaluating visualization diagnosis, repair, and verification. Given a rendered chart and configurable auxiliary evidence, including its source data table, intended text summary, and visualization code, an agent iteratively diagnoses potential defects, modifies and executes visualization code, inspects execution and visual feedback, and determines when no further intervention is needed. VisAudit defines three tracks spanning diagnosed repair, autonomous repair, and open-world verification, and contains 1,900 flawed instances across 21 chart types and 10 flaw categories, together with 300 initially correct charts. We construct the benchmark through controlled perturbations of validated source visualizations, with systematic verification and human-aligned quality control to ensure that injected defects are well-defined and recoverable from the available evidence. Experiments with leading multimodal models reveal a substantial gap from reliable autonomous review: the strongest evaluated model fully recovers only $47.4\%$ of flawed charts in the autonomous-repair setting.
• Abstract（参考訳）: マルチモーダルエージェントは、データ可視化タスクにますます使用されるが、自律的なレビューでは制限されている。 人間とは違って、視覚化が間違っていることを認識せず、何が変更されるべきなのかを判断し、正しいコンテンツを壊さずに修復し、介入が成功したかどうかを検証する。 既存のベンチマークは、チャート生成、命令誘導編集、欠陥検出などの事前定義された個々の機能を評価しており、したがって自律的なレビューにおいてこのギャップを捉えていない。 可視化診断,修復,検証を行うベンチマークであるVisAuditを紹介する。 レンダリングされたチャートと、そのソースデータテーブル、意図されたテキスト要約、視覚化コードを含む構成可能な補助的エビデンスを与えられたエージェントは、潜在的な欠陥を反復的に診断し、視覚化コードを修正および実行し、実行と視覚的フィードバックを検査し、さらなる介入が不要であるかどうかを決定する。 VisAuditは、診断された修復、自律的な修復、そしてオープンワールドの検証にまたがる3つのトラックを定義し、21のチャートタイプと10の欠陥カテゴリにわたる1,900の欠陥インスタンスと、最初に正しい300のチャートを含んでいる。 検証されたソースの可視化を制御した摂動によってベンチマークを構築し、体系的な検証と人為的な品質制御により、インジェクションされた欠陥が十分に定義され、利用可能な証拠から回復可能であることを保証する。 先行するマルチモーダルモデルによる実験は、信頼性の高い自律的レビューとの大きなギャップを明らかにしている。

関連論文リスト

• Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification [50.168648286292004]
  既存のRAG診断では、金の回答や注釈付き金の証拠が必要であり、どちらもこの体制には存在しない。 オープンエンドのMedExpertデータセットと3つのクローズドエンドデータセットに関するケーススタディに基づいた総合的な2つのデータセットを紹介した。 我々は, LLM-as-Judge を用いた自動パターン誘導パイプラインを適用し, 証拠品質をラベル付けし, 大規模な検証器推論誤差を分類する。
  論文  参考訳（メタデータ） (2026-09-24T19:04:23Z)
• Complex Problem Solving in Large Language Models: A Statistical Control Survey and Diagnostic Framework [52.886947585847594]
  大規模言語モデル(LLM)による複雑な問題解決は、しばしばより強い推論やより長い生成の問題としてフレーム化される。 しかし、早期のエラー増幅、迅速な脆さ、誤ったコミットメントを修正する失敗を説明するのは難しい。 本調査はCPSを潜在解状態上の逐次推定・決定問題と解釈する。
  論文  参考訳（メタデータ） (2026-09-17T18:28:45Z)
• Can Large Language Models Generate Observability-Aware Code? [51.30941152293301]
  本稿では,エージェント生成システムにおける可観測性に関する系統的研究を行う。 その結果,ソースレベルでの診断的セマンティクスと実行時の障害信号との間には,一貫したギャップがあることが判明した。 本稿では,診断的意味論と故障信号暴露の両方を改善するためのガイダンスとして,可観測性指向のスキルを導入する。
  論文  参考訳（メタデータ） (2026-07-07T03:20:52Z)
• Does It Fail to See or Fail to Know? Attributing Errors in Vision-Language Models [33.564453692157095]
  不確実性は、モデルが失敗する可能性を示すだけでなく、なぜ不確実かも診断すべきである。 そこで本研究では,障害発生源の予測に前世代の信号が有効かどうかを検証し,障害発生モードを解消するための統一的なフレームワークを提案する。 我々の主な発見は、認識関連障害が視覚的トーケン表現によって最もよく捉えられるのに対して、認識後に残る障害は、素早い条件で隠された状態によってよりよく捉えられることである。
  論文  参考訳（メタデータ） (2026-07-06T05:11:45Z)
• SAAG: Structured Agent Assessment and Grounding [13.62148061055744]
  本稿では,エージェント呼び出し評価を3段階に分解するケースケード診断フレームワークを提案する。 このフレームワークは,5,10,15エージェントのレジストリサイズにまたがって,Glaiveの関数呼び出しデータセットから得られたベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-04-30T19:33:58Z)
• ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning [59.558706734431276]
  空間知能の現在の評価は、現代の視覚言語モデル(VLM)設定下で体系的に無効にすることができる。 本稿では,各QAペアが実際の入力の下で応答可能で正しいことを保証するためのベンチマークとプロトコルであるReVSIを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T10:45:51Z)
• Imperfect Visual Verification for Code Edition : A Case Study on TikZ [3.6213861298681826]
  問題の中心的困難を分離するケーススタディとしてTikZを使用します。 視覚的コードのカスタマイズを不完全なオラクルによる反復的な編集問題と定義する。 その結果,不完全な検証者でさえ,コードに視覚的指示を適用するかどうかを適度に判断し,F1スコアを最大0.815まで達成できることがわかった。
  論文  参考訳（メタデータ） (2026-04-09T12:21:52Z)
• MedObvious: Exposing the Medical Moravec's Paradox in VLMs via Clinical Triage [20.835664121303534]
  ビジョン言語モデル(VLM)は、医療報告生成や視覚的質問応答といったタスクにますます使われています。 臨床実践では、解釈は診断前の衛生検査から始まる。 既存のベンチマークでは、このステップが解決されたと仮定しており、致命的な障害モードを見逃している。 我々は1,880タスクのベンチマークであるMedObviousを導入し、入力検証をセットレベルの一貫性機能として分離する。
  論文  参考訳（メタデータ） (2026-03-24T17:59:54Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。