論文の概要: Vis2State: Visual Reasoning through Executable State Abstractions
- arxiv url: http://arxiv.org/abs/2611.07397v1
- Date: Thu, 05 Nov 2026 03:48:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.504278
- Title: Vis2State: Visual Reasoning through Executable State Abstractions
- Title(参考訳): Vis2State: 実行可能な状態抽象化によるビジュアル推論
- Abstract要約: 視覚パズルを明示的で修正可能な問題状態に抽象化する,トレーニングフリーなエージェントフレームワークであるVis2Stateを紹介した。
Vis2Stateは4つのベンチマークで最先端のパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 18.930786103024314
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Solving visual puzzles requires both accurate interpretation of visual evidence and reliable computation under task-specific rules. Embedding visual assumptions and task constraints directly in solving code makes the represented problem difficult to inspect and revise independently. We introduce Vis2State, a training-free agentic framework that abstracts visual puzzles into explicit, revisable problem states linking visual inspection and execution. Visual inspection guides state construction and refinement, while generated programs solve the represented problem. The model constructs both the state and the program without predefined puzzle schemas or solving procedures. Inspection and execution feedback allow it to revise the problem representation and solving procedure independently. Vis2State achieves the state-of-the-art performance on four benchmarks. Cross-model evaluation further demonstrates consistent gains. Ablations, error analyses, and fixed-program state interventions further support the effectiveness of the state-centered design. The code will be made publicly available to facilitate future research.
- Abstract(参考訳): 視覚パズルを解くには、視覚的証拠の正確な解釈とタスク固有の規則の下での信頼性の高い計算の両方が必要である。
コードの解決に視覚的な仮定とタスクの制約を直接埋め込むことで、表現された問題が独立して検査と修正が困難になる。
視覚検査と実行をリンクする明示的で修正可能な問題状態に、視覚パズルを抽象化する、トレーニング不要なエージェントフレームワークであるVis2Stateを紹介した。
視覚検査は状態の構築と改善をガイドし、生成したプログラムは表現された問題を解決する。
このモデルは、事前に定義されたパズルスキーマや解決手順なしで、状態とプログラムの両方を構成する。
検査と実行のフィードバックにより、個別に問題表現と解決手順を修正できる。
Vis2Stateは4つのベンチマークで最先端のパフォーマンスを達成する。
クロスモデル評価はさらに一貫した利得を示す。
アブレーション、エラー解析、固定プログラム状態介入は、状態中心の設計の有効性をさらに支援している。
コードは、将来の研究を促進するために公開されます。
関連論文リスト
- VeriCUA: Verification as Agentic Exploration for Computer-Using Agents [95.35011917414766]
コンピュータ利用エージェントの構築とスケーリングには、信頼性の高いタスク補完検証が必要である。
エージェント探索による検証のためのプラットフォームに依存しないフレームワークであるVeriCUAを提案する。
論文 参考訳(メタデータ) (2026-10-29T17:45:26Z) - See2Think: Do Multimodal Models Really Use Intermediate Visual States? [12.082470543980422]
See2ThinkBenchとVisual Action-of-Thought (VAoT)を組み合わせた統合評価フレームワークであるSeee2Thinkを紹介する。
VAoTは4つの制御された推論設定の下で、テキストの思考、視覚行動、レンダリングされた状態、およびその後の推論を記録する。
視覚的推論はモデルに依存し、環境に依存しており、タスク間で一貫した1つの設定が支配的でないことが分かっています。
論文 参考訳(メタデータ) (2026-07-29T11:10:34Z) - On the Limits of Innate Planning in Large Language Models [13.604285158704466]
大規模言語モデル(LLM)は多くのベンチマークで印象的な結果を得るが、計画とステートフルな推論の能力は未だに不明である。
コード実行や他のツールを使わずに、これらの能力を直接研究し、8-puzzleというステートトラッキングとゴール指向の計画を必要とする古典的なタスクを使います。
論文 参考訳(メタデータ) (2025-11-26T17:08:13Z) - VDebugger: Harnessing Execution Feedback for Debugging Visual Programs [103.61860743476933]
V Debuggerは、視覚プログラムのローカライズとデバッギングのために、段階的に実行を追跡することで訓練された、批評家とリファインダーのフレームワークである。
Vデバッガは、詳細な実行フィードバックを活用してプログラムエラーを特定し、修正する。
6つのデータセットの評価は、Vデバッガの有効性を示し、ダウンストリームタスクの精度が最大3.2%向上したことを示している。
論文 参考訳(メタデータ) (2024-06-19T11:09:16Z) - De-fine: Decomposing and Refining Visual Programs with Auto-Feedback [75.62712247421146]
De-fineは、複雑なタスクを単純なサブタスクに分解し、オートフィードバックを通じてプログラムを洗練する、トレーニング不要のフレームワークである。
様々な視覚的タスクに対する我々の実験は、De-fineがより堅牢なプログラムを生成することを示している。
論文 参考訳(メタデータ) (2023-11-21T06:24:09Z) - LOIS: Looking Out of Instance Semantics for Visual Question Answering [17.076621453814926]
画像中のオブジェクトの意味論の因果関係を理解するために,ボックス境界のないモデルフレームワークを提案する。
我々は、インスタンスオブジェクトと背景情報の間のより洗練された、より深い視覚的意味関係をモデル化するための相互関係注意モジュールを実装した。
提案するアテンションモデルにより,重要な単語関連質問に焦点をあてることで,より健全な画像領域を解析することができる。
論文 参考訳(メタデータ) (2023-07-26T12:13:00Z) - Visual Perturbation-aware Collaborative Learning for Overcoming the
Language Prior Problem [60.0878532426877]
本稿では,視覚的摂動校正の観点から,新しい協調学習手法を提案する。
具体的には、異なる摂動範囲で2種類のキュレートされた画像を構築するための視覚コントローラを考案する。
2つの診断VQA-CPベンチマークデータセットの実験結果は、その効果を明らかに示している。
論文 参考訳(メタデータ) (2022-07-24T23:50:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。