論文の概要: VisualCoding: Learning Executable Skills for Reliable Visual Reasoning
- arxiv url: http://arxiv.org/abs/2610.14403v1
- Date: Fri, 09 Oct 2026 23:46:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 21:46:28.666256
- Title: VisualCoding: Learning Executable Skills for Reliable Visual Reasoning
- Title（参考訳）: VisualCoding: 信頼性の高いビジュアル推論のための実行可能なスキルを学ぶ
- Abstract要約: 本稿では,再利用可能なビジュアルプログラムの実行誘導獲得と,適用可能なインプットへの解答の直接適用を併用したVisualCodingを提案する。
Execution-Guided Program Acquisitionは、視覚的プリミティブと追加のコードをファミリーレベルのソルバに構成し、反復的にテストし、ラベル付きトレーニングインスタンスで修正する。
Scope-Aware Direct Executionは、保持されたソルバを実行し、有効なスコープ内応答を返す。
- 参考スコア（独自算出の注目度）: 0.3441021278275805
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning reusable skills can improve visual reasoning agents, yet applying a skill still requires the agent to implement or invoke a procedure and produce the final answer. Errors and hallucinations at these steps can prevent acquired experience from translating into reliable single-run performance. We propose VisualCoding, which combines execution-guided acquisition of reusable visual programs with direct adoption of their answers on applicable inputs. Execution-Guided Program Acquisition composes visual primitives and additional code into family-level solvers, then iteratively tests and revises them on labeled training instances. Scope-Aware Direct Execution runs a retained solver and returns its valid in-scope answer. We evaluate VisualCoding on four models across four benchmarks spanning 69 task families. VisualCoding exceeds the strongest evaluated baseline in mean accuracy by 4.45 percentage points with Gemini-3.1-Pro and by 14.78 points when reusing the frozen Pro-acquired artifacts with Flash-Lite. Ablations support execution-guided acquisition and show that direct execution outperforms textual or callable reuse of the same programs. Code is available at https://github.com/jiaq-liu/VisualCoding.
- Abstract（参考訳）: 再利用可能なスキルを学ぶことは、視覚的推論エージェントを改善することができるが、スキルを適用するには、エージェントが手順を実装し、実行し、最終的な答えを生成する必要がある。
これらのステップにおける誤りや幻覚は、取得した経験が信頼できるシングルランパフォーマンスに変換されるのを防ぐことができる。
本稿では,再利用可能なビジュアルプログラムの実行誘導獲得と,適用可能なインプットへの解答の直接適用を併用したVisualCodingを提案する。
Execution-Guided Program Acquisitionは、視覚的プリミティブと追加のコードをファミリーレベルのソルバに構成し、反復的にテストし、ラベル付きトレーニングインスタンスで修正する。
Scope-Aware Direct Executionは、保持されたソルバを実行し、有効なスコープ内応答を返す。
69のタスクファミリーにまたがる4つのベンチマークで、VisualCodingを4つのモデルで評価する。
VisualCodingは、Gemini-3.1-Proで4.45ポイント、Flash-Liteで凍ったProのアーティファクトを再利用した場合の14.78ポイントで評価されたベースラインを上回っている。
アブレーションは実行誘導による取得をサポートし、直接実行が同じプログラムのテキストまたは呼び出し可能な再利用より優れていることを示す。
コードはhttps://github.com/jiaq-liu/VisualCoding.comで入手できる。
関連論文リスト
- EmbodiedEvo: Self-improving Coding Agents for Physical Intelligence [5.550735065870032]
EmbodiedEvoでは,1つのプレイグラウンドシーンに対するフィードバックを通じて,プログラミングエージェントが再利用可能なスキルとレッスンを進化させる。
RoboDojo-Simでは、EmbodiedEvoの平均スコアは44.48で、成功率は37.82%で、公式に確認されたすべての結果を上回っている。
論文 参考訳（メタデータ） (2026-10-13T17:59:51Z) - Fly-by-Code: Embodied Coding Agents for Aerial Manipulation with Active Visual and Physical Feedback [63.75302732504381]
エンボディードコーディングエージェントは、プログラムを生成し、実行フィードバックからそれらを精製することで、ロボットポリシーを構築する。
この改善は、実行フィードバックがタスクが成功したかどうかを明らかにし、失敗した後、プログラムのリビジョンをガイドするのに十分な証拠を提供すると仮定する。
同じフィードバックを再検査しても、収集されていない観察や、利用可能な証拠が区別できない原因を分離することはできません。
アクティブな"View and Probe"フレームワークであるActive Feedback(AF)を紹介します。
論文 参考訳（メタデータ） (2026-10-08T18:00:00Z) - Scaling Verification Can Be More Effective than Scaling Policy Learning for Vision-Language-Action Alignment [58.93227458806748]
CoVer-VLAは、訓練された検証器を用いた階層的なテスト時間検証パイプラインである。
我々のフレームワークはビジョン・ランゲージ・モデルから多種多様な説明文をプリコンプリートする。
各命令に対して繰り返しアクション候補を生成し、検証器を使用して最適なハイレベルプロンプトと低レベルアクションチャンクを選択する。
論文 参考訳（メタデータ） (2026-02-12T18:59:59Z) - Visual-CoG: Stage-Aware Reinforcement Learning with Chain of Guidance for Text-to-Image Generation [17.721669942843835]
本稿では,3段階からなるビジュアル・チェーン・オブ・ガイダンス(Visual-CoG)パラダイムを提案する。
提案したVisual-CoGでは,それぞれ15%,5%,19%の改善が見られた。
論文 参考訳（メタデータ） (2025-08-25T13:53:02Z) - ViUniT: Visual Unit Tests for More Robust Visual Programming [104.55763189099125]
モデルが正しく答えると、不正なプログラムを33%生成します。
自動単体テストを生成することで、視覚プログラムの信頼性を向上させるためのフレームワークであるVisual Unit Testing (ViUniT)を提案する。
論文 参考訳（メタデータ） (2024-12-12T01:36:18Z) - VDebugger: Harnessing Execution Feedback for Debugging Visual Programs [103.61860743476933]
V Debuggerは、視覚プログラムのローカライズとデバッギングのために、段階的に実行を追跡することで訓練された、批評家とリファインダーのフレームワークである。
Vデバッガは、詳細な実行フィードバックを活用してプログラムエラーを特定し、修正する。
6つのデータセットの評価は、Vデバッガの有効性を示し、ダウンストリームタスクの精度が最大3.2%向上したことを示している。
論文 参考訳（メタデータ） (2024-06-19T11:09:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。