論文の概要: VLM-in-Sandbox: Visual Workspaces for Agentic Visual Reasoning

• arxiv url: http://arxiv.org/abs/2609.24362v1
• Date: Mon, 21 Sep 2026 09:52:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.980778
• Title: VLM-in-Sandbox: Visual Workspaces for Agentic Visual Reasoning
• Title（参考訳）: VLM-in-Sandbox:エージェントビジュアル推論のためのビジュアルワークスペース
• Abstract要約: VLM-in-Sandbox(VLM-in-Sandbox)は、制御されたコンピュータ環境におけるエージェント型マルチモーダル推論のためのトレーニングフリーフレームワークである。 Visual Workspaceは生成したアーティファクトをイメージ台帳に登録し、境界付けられたアクティブなビジュアルコンテキストを維持し、モデルが後続の検査のために選択したエビデンスを明示的に促進する。
• 参考スコア（独自算出の注目度）: 22.255203187331677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sandboxed computer environments support multi-step reasoning with tools, executable programs, and persistent files, yet their extension from language models to vision-language models (VLMs) introduces a distinct state-management problem. Visual reasoning produces intermediate image-valued evidence---crops, masks, overlays, zoomed regions, and analytic renderings---that must remain addressable without accumulating unboundedly in multimodal context. We introduce VLM-in-Sandbox, a training-free framework for agentic multimodal reasoning in controlled computer environments. Its Visual Workspace registers generated artifacts in an image ledger, maintains a bounded active visual context, and lets the model explicitly promote selected evidence for subsequent inspection. This separates visual evidence generation, performed by sandbox tools, from visual evidence management. Across seven benchmarks and four base VLMs, VLM-in-Sandbox achieves the highest sample-weighted average accuracy among Vanilla VLM, Append-only Sandbox, and the proposed method. A compiler-matched $2\times2$ study on 1,260 examples further separates model-directed visibility from bounded retention: VLM-in-Sandbox reaches 66.27% accuracy with 18.6% fewer total tokens than the automatic, retain-all control. Over all 6,350 submitted GPT-4.1-mini examples, it produces 302 rescues and 142 regressions relative to Original Append-only. A local vLLM study with prefix caching confirms that the smaller request workload also reduces uncached tokens, time to first token, and end-to-end latency. These results identify explicit visual evidence state as a central abstraction for sandboxed VLM agents.
• Abstract（参考訳）: サンドボックス化されたコンピュータ環境は、ツール、実行可能プログラム、永続ファイルによる多段階推論をサポートするが、言語モデルから視覚言語モデル(VLM)への拡張は、異なる状態管理問題をもたらす。 視覚的推論は、中間的な画像評価エビデンス - クロップ、マスク、オーバーレイ、ズームされた領域、分析レンダリング - を生成する。 VLM-in-Sandboxは,制御されたコンピュータ環境におけるエージェント型マルチモーダル推論のためのトレーニングフリーフレームワークである。 Visual Workspaceは生成したアーティファクトをイメージ台帳に登録し、境界付けられたアクティブなビジュアルコンテキストを維持し、モデルが後続の検査のために選択したエビデンスを明示的に促進する。 これは、サンドボックスツールによって実行される視覚的エビデンス生成を、視覚的エビデンス管理から分離する。 7つのベンチマークと4つのベースVLMに対して,VLM-in-Sandboxは,Vanilla VLM,Append-only Sandbox,提案手法の中で最も高いサンプル重み付き平均精度を実現している。 VLM-in-Sandboxは66.27%の精度に達し、18.6%のトークンは自動的な保持制御よりも少ない。 6350件の GPT-4.1-mini のサンプルのうち、302件の救助と142件のレグレッションをオリジナル・アペンドのみに対して生成している。 プレフィックスキャッシュによるローカルvLLM調査では、リクエストのワークロードが小さくなれば、アンキャッシュトークン、ファーストトークンへの時間、エンドツーエンドのレイテンシも削減される。 これらの結果から, サンドボックス型VLMエージェントの抽象概念として, 明確な視覚的エビデンス状態が同定された。

関連論文リスト

• VisLens: Single-Pass Interpretable Visual Search for Multimodal LLMs [50.62479086957651]
  我々は,ロジットレンズ上に構築されたビジュアル検索手法であるemphVisLens (Visual Focus via Logit Lens)を提案する。 VisLensは以前のベースラインにマッチまたは超過し、相当なレイテンシのアドバンテージを提供する。
  論文  参考訳（メタデータ） (2026-08-31T12:43:42Z)
• Is Visual Prompting All You Need? Studying VLM Spatial Reasoning under Progressive Visual Scaffolds [12.841957617988148]
  本研究では,タスクの視覚的提示がモデル性能と障害モードを,基礎となる推論問題が変化しない場合にどのように形成するかを検討する。 空間構造をより使いやすくしながら、視覚的モダリティを保ちつつ、軽量な入力側足場を導入する。 視覚提示は,VLMベンチマークが基底認識,下流推論,あるいは両者の混合を計測するかどうかを決定する中心的な要因であることがわかった。
  論文  参考訳（メタデータ） (2026-08-21T14:40:26Z)
• SABRE: Scalable and Automated Benchmarking of VLMs under Stress [10.315515647818009]
  ビジョン言語モデル(VLM)は急速に改善されているが、ベンチマークの開発は遅れている。 私たちは、Test Primerを構造化仕様に変換するスケーラブルで自動化されたパイプラインであるSABREを紹介します。 我々は、SABRE-Prior を用いて、VLM が世界標準に依存するのではなく、視覚的証拠に従うかどうかを検証する。
  論文  参考訳（メタデータ） (2026-08-07T17:21:04Z)
• Trace: A Taxonomy-Guided Environment for Multidomain Visual Reasoning [1.7767466724342065]
  トレースは、マルチドメインの視覚的推論のための分類誘導環境である。 共有セマンティックステートは、レンダリングされた画像、プロンプト、型付き回答、検証状態、再生可能なインスタンストレースを決定する。
  論文  参考訳（メタデータ） (2026-07-22T06:17:57Z)
• MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents [50.27505102982638]
  本稿では,ツールコールエージェントのベンチマークおよび評価フレームワークであるMM-ToolSandBoxを紹介する。 このフレームワークは16のアプリケーションドメインで500以上のツールにまたがるステートフルな実行環境を提供する。 マルチイメージのマルチターンタスクをサポートしており、エージェントは実行可能ツールコールに徐々に視覚的な入力を入力しなければならない。
  論文  参考訳（メタデータ） (2026-07-13T17:13:09Z)
• Test-Time Hinting for Black-Box Vision-Language Models [11.005886421208709]
  Test-Time Hintingは、単一のVLMコールによるVLMパフォーマンスを改善し、ブラックボックスAPIアクセスのみを必要とする。 テスト時間ヒンティングは、自然画像のVQAベンチマークにおいて、複数の閉重VLMの精度を向上することを示す。
  論文  参考訳（メタデータ） (2026-05-13T14:35:22Z)
• CoViPAL: Layer-wise Contextualized Visual Token Pruning for Large Vision-Language Models [75.88232735646018]
  LVLM(Large Vision-Language Models)は、画像やビデオから抽出されたテキストトークンとビジョントークンからなるマルチモーダル入力を処理する。 既存の手法は冗長な視覚トークンを創りだそうとしており、視覚表現のかなりの冗長性を明らかにしている。 我々は,LVLMで処理される前に冗長な視覚トークンを予測・削除するために,Plug-and-Play Pruning Module (PPM) を用いるレイヤワイズなコンテキスト対応型視覚トークンプルーニング手法であるCoViPALを提案する。
  論文  参考訳（メタデータ） (2025-08-24T07:47:00Z)
• Vision-Language Models Create Cross-Modal Task Representations [58.19152818504624]
  視覚言語モデル(VLM)は,概念的に等価な入力を共有タスクベクトルに整合させることができる。 このアライメントを,タスクやモデルアーキテクチャのクロスモーダル転送を通じて測定する。 タスクベクトルはベース言語モデルから微調整された視覚言語モデルに変換可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-29T17:59:45Z)
• Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
  本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚トークンの概念を提案する。 さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2024-03-12T14:58:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。