論文の概要: From Seeing to Reporting: A Theory of Reliable Visual Set Generation in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.25503v1
• Date: Sun, 18 Oct 2026 19:43:28 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:00:39.925749
• Title: From Seeing to Reporting: A Theory of Reliable Visual Set Generation in Vision-Language Models
• Title（参考訳）: 展望から報告へ:視覚言語モデルにおける信頼性の高い視覚集合生成の理論
• Abstract要約: GPT-6.1では85.2%、Claude Sonnet 5.5では98.8%である。 600のScreenSpot-Proアイテムでは、3つのモデルを組み合わせたGUIグラウンド層が、GPT-6.1の2ステージズームのミスレートを13.67%から9.33%に下げている。
• 参考スコア（独自算出の注目度）: 2.842028685390758
• License:
• Abstract: Vision-language models (VLMs) are asked to report what they see: to count objects, box them, parse a screen or pick a click target (GUI grounding). We argue that reporting is part of the visual task, not merely its formatting. In a dense scene with 173 shapes, GPT-6.1 lists 173 records that match every shape, yet the counts it states in the same response sum to 188. From Seeing to Reporting (FSR) is a theory of visual reporting and a set of inference-time procedures that improve the reports of frozen VLMs. It models reporting as a chain from responses to decoded records, constructed sets and task answers, linked by task-compatible matching. The chain gives exact relations for deleting records, averaging their coordinates and switching readouts, and it splits the error of one answer chosen among several calls into missing candidates, lost representatives and wrong choices. These relations guide procedures for counting, detection, document layout, screen parsing and GUI grounding that use the task specification and a shipped configuration, without requiring labels from the target task. On 50 dense synthetic scenes, a one-call reporting-and-decoding protocol cuts per-type count error by 85.2% for GPT-6.1 and 98.8% for Claude Sonnet 5.5. On 600 ScreenSpot-Pro items, a GUI-grounding tier that combines three models lowers the miss rate from 13.67% for GPT-6.1's two-stage zoom to 9.33%, against 12.67% for three such zooms combined by a cluster vote at about the same cost. A plain vote over the same three models misses 12.33%: the other models supply the candidates, and selecting among them turns those candidates into fewer misses. We release the protocols, the stored responses and the analysis code.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、オブジェクトを数える、ボックス化する、画面を解析する、またはクリックターゲットを選択する(GUIグラウンド)、といったことを報告するよう求められます。 我々は、レポートは単なるフォーマットではなく、視覚的なタスクの一部だと論じている。 173の形状を持つ密集したシーンでは、GPT-6.1は全ての形状に一致する173のレコードをリストしている。 Seeing to Reporting (FSR) は視覚的報告の理論であり、凍結したVLMの報告を改善するための推論時間プロシージャのセットである。 応答からデコードされたレコード、構築されたセット、タスク回答への応答のチェーンとしてレポートをモデル化し、タスク互換のマッチングによってリンクする。 このチェーンは、レコードを削除するための正確な関係を与え、座標を平均化し、読み出しを切り替え、いくつかの呼び出しの中から選択された1つの答えの誤りを、欠落した候補、失われた代表者、間違った選択に分割する。 これらの関係は、ターゲットタスクからのラベルを必要とせずに、タスク仕様と出荷された設定を使用するカウント、検出、ドキュメントレイアウト、スクリーン解析、GUIグラウンドの手順を案内する。 50の濃密な合成シーンでは、ワンコールのレポーティング・アンド・デコードプロトコルにより、GPT-6.1では85.2%、Claude Sonnet 5.5では98.8%のエラーが発生する。 600のScreenSpot-Proアイテムでは、3つのモデルを組み合わせたGUIグラウンド層がGPT-6.1の2ステージズームの13.67%から9.33%に低下し、3つのズームの12.67%はクラスタ投票でほぼ同じコストで低下する。 同じ3つのモデルに対する投票では、12.33%が落選し、他のモデルが候補者に供給し、その中の1つを選択することで、候補者のミスを減らしている。 プロトコル、ストアドレスポンス、分析コードをリリースします。

関連論文リスト

• Auditing VLM Benchmarks from Existing Evaluation Runs [0.0]
  視覚検出器モデル(VLM)のすべての評価実行によって生成される1回の探究アーチファクト 追加の監査層 VLMEvalKit: 6つの検出器が保存出力上の後処理検出器として動作する。 追加のテキストのみのテキストのみの再実行で、クエスト毎のレポートを出力する視覚的な入力が削除された。
  論文  参考訳（メタデータ） (2026-10-09T13:05:22Z)
• VulContextBench: A Benchmark for Security Context Retrieval in Coding Agents [8.80548156733219]
  脆弱性検出ベンチマークは、収集した証拠ではなく、エージェントが到達した判断をスコアする。 VulContextBenchは、83のリポジトリ、63のCWE、および5つの言語にわたる111の脆弱性導入コミット(VIC)のベンチマークである。
  論文  参考訳（メタデータ） (2026-09-26T13:19:18Z)
• IChart2Code: Benchmarking Multimodal Large Language Models for Interactive Chart Code Generation [11.917166961984114]
  インタラクティブなチャートコード生成には、参照チャートの外観と基盤となるデータを再現するモデルが必要である。 既存のチャート・トゥ・コードベンチマークでは静的なアウトプットに重点を置いており、インタラクション仕様やブラウザの実行、インタラクション後の検証のためのタスク表現や評価プロトコルが欠如している。 IChart2Codeは、20のチャート形式と13のデータファミリーにわたる377のタスクからなるベンチマークであり、6つのファミリーで1209のインタラクション要求がある。
  論文  参考訳（メタデータ） (2026-09-26T09:40:57Z)
• Grounded and Faithful P&ID Reasoning: Constraining Vision-Language Models with Recovered Evidence Graphs [0.0]
  Graph-Grounded Harness (Ours)は、画像のみのプロンプトで36.7-41.3%の精度でマッチする。 Digitize-PIDデータセットでは、復元されたグラフは、正確なプロセス接続でF1 0.742、シンボルとタグがプールされると0.801となる。
  論文  参考訳（メタデータ） (2026-09-05T05:02:34Z)
• From Diagnosis to Correction: Benchmarking and Improving Real-World Table Parsing [50.70862449978062]
  最近の文書では OmniDocBench v1.6 の 93 以上の TEDS スコアが達成されている。 このギャップを定量化するために、916の現実世界のテーブルの診断ベンチマークであるTableParseMapを紹介します。
  論文  参考訳（メタデータ） (2026-08-10T16:59:30Z)
• SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification [71.9783246097687]
  SEERは、ペアローカライゼーション中の候補関係を隠蔽し、明示的な主観的/対象的役割を持つクエリ固有ビューを構築し、補完的な証拠として完全なイメージとスパースボックス幾何学を保持する。 正確な逆サポートを持つ関係選択プロトコルでは、オプションリファインメントがエンティティロールを交換し、正確に1つの視覚状態が対応する逆関係に従う場合にのみ前方決定を変更する。 変更されていないプロトコルは、3つのモデルにまたがる2,434個のフィルター付きEmbSpatialペア関係質問に対して +4.35 から +11.79 を得る。
  論文  参考訳（メタデータ） (2026-08-04T13:16:15Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• Count Anything at Any Granularity [55.70950689938894]
  KubriCountは、これまでで最大で、最も包括的な注釈付きカウントデータセットである。 テキストと視覚的特徴を相補的なターゲット仕様として併用する多粒カウントモデルを訓練する。 HieraCountは、マルチグラデーションカウントの精度を大幅に改善し、現実のシナリオに対して堅牢に一般化する。
  論文  参考訳（メタデータ） (2026-05-11T17:32:37Z)
• DIAGRAMS: A Review Framework for Reasoning-Level Attribution in Diagram QA [56.73431446011309]
  ダイアグラム質問応答(ダイアグラムQA)は、各問合せ対を答えを導き出すために必要なすべての視覚領域にリンクする推論レベルの属性を必要とする。 私たちは、データセット固有の構造からインターフェースロジックを分離する軽量でスキーマ駆動のレビューフレームワークであるDIAGRAMSを紹介します。
  論文  参考訳（メタデータ） (2026-04-29T02:34:51Z)
• Overcoming Statistical Shortcuts for Open-ended Visual Counting [54.858754825838865]
  出力ラベルに関係なく、カウントする適切なメカニズムを学習するモデルを開発することを目的としている。 まず,統計的ショートカットに過度に依存するモデルを罰するModifying Count Distributionプロトコルを提案する。 第2に、視覚分析と自然言語質問に基づく数え上げを専門とする空間カウントネットワーク(SCN)を導入する。
  論文  参考訳（メタデータ） (2020-06-17T18:02:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。