論文の概要: Adaptive Vision-Language Model Routing for Computer Use Agents

• arxiv url: http://arxiv.org/abs/2603.12823v1
• Date: Fri, 13 Mar 2026 09:21:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-16 17:38:12.021593
• Title: Adaptive Vision-Language Model Routing for Computer Use Agents
• Title（参考訳）: コンピュータ利用エージェントのための適応型視覚言語モデルルーティング
• Abstract要約: コンピュータ利用エージェントは、命令をクリック、キーストローク、スクロールなどのアクションに変換する。 現在のCUAシステムは、通常、困難にかかわらず全てのアクションを単一の固定モデルにルーティングする。 本稿では,CUAオーケストレータとVLMプール間の軽量なセマンティックルーティング層を挿入するフレームワークであるConfusedbf VLM Routing (AVR)を提案する。
• 参考スコア（独自算出の注目度）: 9.457255218406333
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computer Use Agents (CUAs) translate natural-language instructions into Graphical User Interface (GUI) actions such as clicks, keystrokes, and scrolls by relying on a Vision-Language Model (VLM) to interpret screenshots and predict grounded tool calls. However, grounding accuracy varies dramatically across VLMs, while current CUA systems typically route every action to a single fixed model regardless of difficulty. We propose \textbf{Adaptive VLM Routing} (AVR), a framework that inserts a lightweight semantic routing layer between the CUA orchestrator and a pool of VLMs. For each tool call, AVR estimates action difficulty from multimodal embeddings, probes a small VLM to measure confidence, and routes the action to the cheapest model whose predicted accuracy satisfies a target reliability threshold. For \textit{warm} agents with memory of prior UI interactions, retrieved context further narrows the capability gap between small and large models, allowing many actions to be handled without escalation. We formalize routing as a cost--accuracy trade-off, derive a threshold-based policy for model selection, and evaluate AVR using ScreenSpot-Pro grounding data together with the OpenClaw agent routing benchmark. Across these settings, AVR projects inference cost reductions of up to 78\% while staying within 2 percentage points of an all-large-model baseline. When combined with the Visual Confused Deputy guardrail, AVR also escalates high-risk actions directly to the strongest available model, unifying efficiency and safety within a single routing framework. Materials are also provided Model, benchmark, and code: https://github.com/vllm-project/semantic-router.
• Abstract（参考訳）: コンピュータ利用エージェント(CUA)は、スクリーンショットを解釈し、接地されたツールコールを予測するために、Vision-Language Model(VLM)に依存して、クリック、キーストローク、スクロールなどの自然言語命令をグラフィカルユーザインタフェース(GUI)アクションに変換する。 しかしながら、接地精度はVLM間で劇的に変化し、現在のCUAシステムは、通常、困難にかかわらず全てのアクションを単一の固定モデルにルーティングする。 本稿では,CUAオーケストレータとVLMのプールとの間に,軽量なセマンティックルーティング層を挿入するフレームワークである‘textbf{Adaptive VLM Routing} (AVR) を提案する。 ツールコール毎に、AVRはマルチモーダル埋め込みからアクションの難しさを推定し、信頼度を測定するために小さなVLMを探索し、予測精度が目標の信頼性閾値を満たす最も安価なモデルにアクションをルーティングする。 以前のUIインタラクションのメモリを持つ \textit{warm} エージェントの場合、検索されたコンテキストは、小さなモデルと大きなモデルの間の能力ギャップをさらに狭め、エスカレーションなしで多くのアクションを処理できる。 ルーティングをコスト精度トレードオフとして形式化し、モデル選択のためのしきい値ベースのポリシーを導出し、OpenClawエージェントルーティングベンチマークとともにScreenSpot-Proのグラウンドデータを用いてAVRを評価する。 これらの設定全体で、AVRは、全モデルベースラインの2ポイント以内にとどまりながら、最大78\%の推論コスト削減を計画している。 Visual Confused副ガードレールと組み合わせることで、AVRは最も強力な利用可能なモデルに直接リスクの高いアクションをエスカレートし、単一のルーティングフレームワーク内で効率と安全性を統一する。 モデル、ベンチマーク、コードも提供されている。

関連論文リスト

• Pro-Router: Token-Aware Progressive Model Routing with Adaptive Edge-Cloud Collaboration for Efficient Multimodal LLM Inference [5.997400745120167]
  本稿では,効率的なマルチモーダル推論のための適応型エッジクラウド協調型トークン対応プログレッシブモデルルーティング手法を提案する。 Pro-Theaterは2段階のプログレッシブ決定機構を採用している。第1に、トークン生成開始前に軽量プロプロンプトプレスコラモジュールが高速プレスクリーニングを行う。 第二に、トークン認識検証器は、小さなモデルが生成する各トークンのサンプリング確率分布を読み出し、モデルが自身の出力に対して自信を推定し、要求に応じて、答えが出荷されるか、エスカレートされるかを決定する。
  論文  参考訳（メタデータ） (2026-08-28T16:45:58Z)
• SWE-Router: Routing in Multi-turn Agentic Software Engineering Tasks [11.50404356970464]
  マルチターンエージェントハーネスに埋め込まれた大規模言語モデル(LLM)は、ソフトウェア工学(SWE)を再構築している しかし、多くの問題が安い修正を認めると、すべてのタスクをフロンティアモデルにルーティングするのは無駄です。 SWEは,探索的なターン数回で安価なモデルを実行し,結果として生じる部分軌道を読み取る,価値に基づく時間的アプローチである。 本稿では,SWEタスクのコスト効率を大幅に向上すると同時に,より強力なモデルの性能の大部分を維持しながら,SWEタスクのコスト効率を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2026-06-30T01:46:26Z)
• Agent-as-a-Router: Agentic Model Routing for Coding Tasks [54.00153674547733]
  Agent-as-a-router (AC)はC-A-Fループとしてルーティングを形式化する(Context->Action->FeedbackContext) ACは、分配タスクに対する最小の累積後悔を達成し、配布外エージェントプログラミングタスクに一般化する。
  論文  参考訳（メタデータ） (2026-06-22T06:37:31Z)
• CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
  我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。 CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-09T16:24:16Z)
• WildRoadBench: A Wild Aerial Road-Damage Grounding Benchmark for Vision-Language Models and Autonomous Agents [18.115492558482995]
  WildRoadBenchを紹介します。 視覚フィードバックモデルによる直接的な視覚的接地と、LCM駆動エージェントによる自律的な研究とエンジニアリングを結合する。 我々は、複数のフロンティアLPM駆動エージェントとともに、クローズドソースフロンティアモデルとオープンソースVLMの広範なプールをベンチマークする。
  論文  参考訳（メタデータ） (2026-05-19T15:08:34Z)
• LatentRouter: Can We Choose the Right Multimodal Model Before Seeing Its Answer? [69.71754384259167]
  マルチモーダル大言語モデル(MLLM)は、OCR、チャート理解、空間的推論、視覚的質問応答、コスト、レイテンシにまたがるヘテロジニアスな強度を持つ。 本稿では,MLLMルーティングを実効的マルチモーダルユーティリティ予測として定式化するルータであるLatentを提案する。 MMR-BenchとVL-Benchの実験では、Latentは固定モデル、特徴レベル、学習ルータベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2026-05-11T22:42:12Z)
• Step-level Optimization for Efficient Computer-use Agents [51.29573359027217]
  我々は、強力なコンピュータ利用エージェントは、実際は高価で遅いと論じている。 本稿では,コンピュータ利用エージェントのためのイベント駆動ステップレベルカスケードを提案する。
  論文  参考訳（メタデータ） (2026-04-29T19:59:36Z)
• OneDrive: Unified Multi-Paradigm Driving with Vision-Language-Action Models [69.2503510410147]
  予め訓練されたVLM上に構築した統合自動運転フレームワークを提案する。 トレーニング済みのVLMアテンションは、純粋言語モデリング以上の強い伝達性を示すことを示す。 エンドツーエンドの自動運転ベンチマークの実験は、最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2026-04-20T07:50:00Z)
• GUI-360$^\circ$: A Comprehensive Dataset and Benchmark for Computer-Using Agents [59.107657859025586]
  GUI-360$circ$は、コンピュータ利用エージェント(CUA)を進化させるために設計された大規模で包括的なデータセットとベンチマークスイートである。 リリースされたコーパスには、人気のあるWindowsオフィスアプリケーションにおける数千のトラジェクトリにわたる1.2万以上の実行されたアクションステップが含まれている。 このデータセットは、3つの標準タスク、GUIグラウンド、スクリーン解析、アクション予測、ハイブリッドGUI+APIアクションスペースをサポートする。
  論文  参考訳（メタデータ） (2025-11-06T12:19:02Z)
• ECVL-ROUTER: Scenario-Aware Routing for Vision-Language Models [26.059355108708374]
  視覚言語モデル(VLM)のためのシナリオ対応ルーティングフレームワークECVL-ROUTERを提案する。 提案手法では,ユーザ要求に基づいて,クエリ毎に適切なモデルを動的に選択する新たなルーティング戦略と評価指標を導入する。 結果より,提案手法はクエリの80%以上を小さなモデルにルーティングし,10%以下で解答確率を下げることができた。
  論文  参考訳（メタデータ） (2025-10-31T07:46:44Z)
• RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory [57.449129198822476]
  RCRは、マルチエージェント大言語モデル(LLM)システムのためのロールアウェアコンテキストルーティングフレームワークである。 役割とタスクステージに基づいて、各エージェントに対して意味的に関連するメモリサブセットを動的に選択する。 軽量スコアリングポリシは、メモリ選択をガイドし、エージェント出力を共有メモリストアに統合する。
  論文  参考訳（メタデータ） (2025-08-06T21:59:34Z)
• On the Practice of Deep Hierarchical Ensemble Network for Ad Conversion Rate Prediction [14.649184507551436]
  本稿では,DHENを単一のバックボーンモデルアーキテクチャとして用いたマルチタスク学習フレームワークを提案する。 我々は,CVR予測のために,オンサイトリアルタイムユーザ行動シーケンスとオフサイト変換イベントシーケンスの両方を構築した。 本手法は,事前学習したユーザパーソナライズ機能付き単一機能横断モジュールと比較して,最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-04-10T23:41:34Z)
• Vision-Language Models Create Cross-Modal Task Representations [58.19152818504624]
  視覚言語モデル(VLM)は,概念的に等価な入力を共有タスクベクトルに整合させることができる。 このアライメントを,タスクやモデルアーキテクチャのクロスモーダル転送を通じて測定する。 タスクベクトルはベース言語モデルから微調整された視覚言語モデルに変換可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-29T17:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。