論文の概要: When Can Text Replace Vision? Structural Bottlenecks in Diagram Reasoning
- arxiv url: http://arxiv.org/abs/2609.39142v1
- Date: Wed, 30 Sep 2026 07:08:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.343516
- Title: When Can Text Replace Vision? Structural Bottlenecks in Diagram Reasoning
- Title（参考訳）: テキストはいつ視覚に取って代わるのか? : ダイアグラム推論における構造的ボツネック
- Abstract要約: 我々は,原画像,視覚言語モデルで抽出した質問盲構造,図由来の金構造という3つの入力条件を比較した。
凍結プロトコルで評価された240の公開FlowGenダイアグラムのリザーブドホールドアウトでは、ゴールド構造が87%の精度に達し、直接視覚と学習されたテキストはどちらも30%以下である。
- 参考スコア（独自算出の注目度）: 21.759719863161635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Can structured text replace vision for diagram reasoning? A wrong answer after textualization can arise because the representation omits information the question needs, or because the solver fails to use information that is present. We introduce a diagnostic protocol to distinguish these explanations. Using the same solver model and generation settings, we compare three input conditions: the original image, question-blind structure extracted by a vision-language model, or gold structure derived from the diagram source. Validity-triggered recovery tests truncation and schema failure, question-relevant fidelity measures preservation of answer-critical structure, and matched edge interventions test the effect of error location. On a reserved holdout of 240 public FlowGen diagrams, evaluated under a frozen protocol, gold structure reaches 87% accuracy while direct vision and learned text both remain below 30%. The aggregate comparison includes source-derived relation labels that may not be printed in the image and uses different learned and gold graph encodings, so it does not isolate extraction error alone. Retrying only invalid extractions makes nearly every public representation schema-valid yet leaves accuracy essentially unchanged. The public learned-text deficit relative to gold more than doubles with structural difficulty. Question-relevant topology predicts correctness better than whole-graph topology. In an exposed intervention study, a single answer-relevant edge edit reduces the primary solver's original-answer accuracy to near zero, while matched irrelevant edits largely preserve it. Supplied structure requires fewer solving tokens than vision, but learned acquisition removes this advantage at single use. These comparisons motivate evaluating acquired text by the answer-relevant evidence it preserves and by the solver's ability to use that representation.
- Abstract（参考訳）: 構造化テキストは図形推論に視覚を置き換えることができるか?
文章化後の間違った答えは、表現が要求する情報を省略する、あるいは解決者が存在する情報を使用しないために生じることがある。
これらの説明を識別するための診断プロトコルを導入する。
同じ解法モデルと生成条件を用いて、原画像、視覚言語モデルで抽出した質問盲構造、図由来の金構造という3つの入力条件を比較する。
有効性トリガード・リカバリテスト トランケーションとスキーマの故障、質問関連忠実度測定は、応答クリティカルな構造の保存、一致したエッジ介入は、エラー位置の効果をテストする。
凍結プロトコルで評価された240の公開FlowGenダイアグラムのリザーブドホールドアウトでは、ゴールド構造が87%の精度に達し、直接視覚と学習されたテキストはどちらも30%以下である。
集約比較には、画像に印刷されず、異なる学習および金グラフエンコーディングを使用するソース由来の関係ラベルが含まれており、抽出エラーのみを分離しない。
無効な抽出のみをリトライすることで、ほとんどすべての公開表現スキーマが無効になるが、精度は基本的に変化しない。
金に対する大衆の学習文の欠陥は、構造上の困難を伴う2倍以上である。
質問関連トポロジーは、全体グラフトポロジーよりも正確性を予測する。
露呈された介入研究において、単一の回答関連エッジ編集は、プライマリソルバの元の回答精度をほぼゼロに減らし、マッチしない非関連編集は、ほとんど保存する。
供給された構造は、視覚よりも少ない解決トークンを必要とするが、学習された買収は、この利点を単一の用途で排除する。
これらの比較は、それが保存する回答関連証拠と、その表現を使用する解決者の能力による、取得したテキストの評価を動機付けている。
関連論文リスト
- Inside VLM Chart Reading: Tracing Value Reading from Vertical Bar Charts Across Space and Depth [50.62320148925983]
視覚言語モデル(VLM)は、チャートの質問に正確に答えることができるが、正確な値を取り戻すのに必要な証拠をどのように組み合わせるかは、出力精度が示さない。
Qwen2.5VL-7B-Instruct および InternVL3.5-8B における反現実的活性化パッチによる垂直バー値の読み出しについて検討した。
論文 参考訳（メタデータ） (2026-09-12T06:28:11Z) - Stochastic Semantic Evidence Graphs: Uncertainty Propagation and Governance for Agentic AI [0.0]
本稿では,言語ノードが自己回帰トークンサブグラフに拡張する階層型DAGを提案する。
出所証明のために、このグラフは不確実なクレーム-パス関係を保持し、鋭いフレシェ境界を伝播する。
コントロールされた実験では、5000のケースで認証違反は発生せず、クロスRAGとライブブレーブ-検索実験は、検索、プレゼンテーション、ソース、インタラクション効果を分離する。
論文 参考訳（メタデータ） (2026-09-03T22:16:23Z) - When Probing Accuracy Saturates, Fragility Resolves: A Complementary Metric for LLM Pre-Training Analysis [1.0829694003408499]
線形探索は、隠された状態の分類器が高い精度を達成したときに「符号化された」プロパティを宣言する。
標準的な線形探査は最初の数千歩以内に飽和し、ほとんどの訓練は楽器に見えないままである。
我々は,プローブ精度が崩壊するアクティベーションノイズレベルとして定義される,層ごとの相補的測定値であるフラキシビリティを導入する。
論文 参考訳（メタデータ） (2026-06-09T19:00:23Z) - Losing the Plot: How VLM responses degrade on imperfect charts [11.071294641688496]
視覚言語モデル(VLM)は、チャート理解において強力な結果を示すが、既存のベンチマークでは、明確な数字と事実に基づくクエリを仮定している。
我々はChatGPT 4o, Claude Sonnet 4, Gemini 2.5 Proを評価し, 汚損や隠蔽下での急激な性能低下を見出した。
重要なイノベーションは、モデルが同じ声明を確認または否定するよう求められたときに矛盾する、逆の矛盾を早急に起こすことだ。
論文 参考訳（メタデータ） (2025-09-22T21:12:20Z) - Do LVLMs Understand Charts? Analyzing and Correcting Factual Errors in Chart Captioning [90.13978453378768]
生成したチャートキャプションに事実誤りを包括的に分類する。
大規模な人間のアノテーションの取り組みは、様々なチャートキャプションモデルによって作られたキャプションのエラーパターンと頻度に関する洞察を提供する。
分析の結果,GPT-4Vを含む最先端モデルでさえ,事実不正確なキャプションを頻繁に生成していることが判明した。
論文 参考訳（メタデータ） (2023-12-15T19:16:21Z) - Divide, Evaluate, and Refine: Evaluating and Improving Text-to-Image
Alignment with Iterative VQA Feedback [20.78162037954646]
テキストと画像のアライメントの評価と改善に対する分解的アプローチを導入する。
人間のユーザスタディでは、提案手法が従来の最先端の手法を8.7%超え、テキストと画像のアライメントの精度が向上した。
論文 参考訳（メタデータ） (2023-07-10T17:54:57Z) - Rethinking Explaining Graph Neural Networks via Non-parametric Subgraph
Matching [68.35685422301613]
そこで我々はMatchExplainerと呼ばれる新しい非パラメトリックな部分グラフマッチングフレームワークを提案し、説明的部分グラフを探索する。
ターゲットグラフと他のインスタンスを結合し、ノードに対応する距離を最小化することで最も重要な結合部分構造を識別する。
合成および実世界のデータセットの実験は、最先端のパラメトリックベースラインをかなりのマージンで上回り、MatchExplainerの有効性を示す。
論文 参考訳（メタデータ） (2023-01-07T05:14:45Z) - FactGraph: Evaluating Factuality in Summarization with Semantic Graph
Representations [114.94628499698096]
文書と要約を構造化された意味表現(MR)に分解するFactGraphを提案する。
MRは、コアセマンティックの概念とその関係を記述し、文書と要約の両方の主要な内容を標準形式で集約し、データの疎結合を減少させる。
事実性を評価するための異なるベンチマークの実験では、FactGraphは以前のアプローチよりも最大15%優れていた。
論文 参考訳（メタデータ） (2022-04-13T16:45:33Z) - Neural String Edit Distance [77.72325513792981]
文字列対分類とシーケンス生成のためのニューラルストリング編集距離モデルを提案する。
オリジナルの期待最大化学習編集距離アルゴリズムを微分可能な損失関数に変更します。
ひとつのフレームワークでパフォーマンスと解釈性をトレードオフできることを示します。
論文 参考訳（メタデータ） (2021-04-16T22:16:47Z) - Predicting What You Already Know Helps: Provable Self-Supervised
Learning [60.27658820909876]
自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。
本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。
複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
論文 参考訳（メタデータ） (2020-08-03T17:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。