論文の概要: Probe to Act: Elevating Browser-Use Agent via Active Visual Probing
- arxiv url: http://arxiv.org/abs/2609.33646v1
- Date: Sun, 27 Sep 2026 15:11:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 15:02:44.595192
- Title: Probe to Act: Elevating Browser-Use Agent via Active Visual Probing
- Title（参考訳）: Probe to Act:Active Visual Probingによるブラウザ利用エージェントの上昇
- Abstract要約: Probe to Act (P2A) はブラウザエージェントループのアクティブなプロブリングフレームワークである。
シンボリックDOM仮説とスクリーンショットレイアウトの間の非対称ブリッジに対処する。
P2Aは、標準のDOM+SoMインタフェースの下でプロプライエタリなモデルのプロンプト戦略として使用できる。
- 参考スコア（独自算出の注目度）: 73.6013940895953
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Browser-use agents require seamless alignment between structured web metadata and visual information, while preserving relevant context across long interactions. Existing interfaces often rely on either screenshot-level action prediction or static Set-of-Marks overlays, leaving the model to resolve dense DOM-pixel alignment before every operation. We introduce Probe to Act (P2A), an active probing framework for the browser-agent loop that moves this alignment into decision time. P2A addresses an asymmetric bridge between symbolic DOM hypotheses and screenshot layout by rendering on-demand symbolic DOM structure back into pixels. Before committing a state-changing browser operation, the agent can issue lightweight probes to translate DOM handles into pixel evidence, map screen regions back to DOM candidates, register visual-only targets, and commit verified notes. These interleaved processes naturally produce evidence-based memory: only probed, acted-on, or explicitly committed observations are kept across steps, preserving only decision-critical evidence in long-horizon contexts. P2A can be used as a prompting strategy for proprietary models under the standard DOM+SoM interface, and can be distilled into open-weight models through cold-start synthesis and self-bootstrapped SFT. Across three browser-use benchmarks, P2A shows clear gains on task success rate for both proprietary and fine-tuned models; on VisualWebArena, for example, it improves Gemini-3-Pro from 54.1% to 61.2% and Qwen3-VL-8B from 24.6% to 32.9%, while matching the costly full-observation history ($\sim$3$\times$) at only $\sim$1.2$\times$ the peak retained input context of action-only history.
- Abstract（参考訳）: ブラウザ利用エージェントは、構造化されたWebメタデータと視覚情報間のシームレスなアライメントを必要とする。
既存のインターフェイスはスクリーンショットレベルのアクション予測か静的なSet-of-Marksオーバーレイのいずれかに依存しており、すべての操作の前に密集したDOMピクセルのアライメントを解決するためにモデルを残している。
Probe to Act(P2A)はブラウザエージェントループのアクティブなプロベリングフレームワークで、このアライメントを意思決定時間に移行します。
P2Aは、オンデマンドのシンボルDOM構造をピクセルにレンダリングすることで、シンボリックDOM仮説とスクリーンショットレイアウトの間の非対称ブリッジに対処する。
状態を変えるブラウザ操作をコミットする前に、エージェントは軽量なプローブを発行してDOMハンドルをピクセルエビデンスに変換し、画面領域をDOM候補にマップし、ビジュアルのみのターゲットを登録し、検証済みのノートをコミットする。
これらのインターリーブされたプロセスはエビデンスベースの記憶を自然に生成し、調査、行動、明示的な観察のみをステップにわたって保持し、ロングホライゾンの文脈における決定的証拠のみを保持する。
P2Aは、標準DOM+SoMインタフェース下でのプロプライエタリモデルの促進戦略として利用することができ、コールドスタート合成と自己ブートストラップSFTによってオープンウェイトモデルに蒸留することができる。
例えば、VisualWebArenaでは、Gemini-3-Proを54.1%から61.2%に改善し、Qwen3-VL-8Bを24.6%から32.9%に改善した。
関連論文リスト
- BrowserForge: Scaling Web Episode via Parallel Browser Sandboxes [54.96895469970198]
BrowserForgeは、オープンなWeb上で多くのブラウザサンドボックスを並行して駆動することで、大規模なWebインタラクションデータを生成する。
BrowserForgeには3つのコンポーネントがある: オープンなWebソーシングステージ。
ルール+モデルクリーニングパイプラインは、失敗した実行を除去し、生き残った推論を単一の統合されたチェーン・オブ・シンクスタイルに書き換える。
論文 参考訳（メタデータ） (2026-08-25T17:35:42Z) - VTM-Nav: Hierarchical Visual-Topological Memory for Cross-Episode Object-Goal Navigation [55.45263611374435]
エージェントが同じシーンで繰り返し操作し、自己獲得経験のみを保持し、モデルパラメータを固定するクロスエポソードオブジェクトゴールナビゲーションを提案する。
経験の再利用を支援するために,永続的階層型ビジュアルトポロジカルメモリ(VTM)を用いたトレーニング不要なVLMナビゲーションフレームワークを提案する。
提案手法は,3つのベンチマークすべてで最高のパフォーマンスを実現し,データセット間の構造化視覚トポロジカルエクスペリエンスの再利用の有効性と堅牢性を示す。
論文 参考訳（メタデータ） (2026-07-16T03:11:37Z) - Signal-Driven Observation for Long-Horizon Web Agents [0.0]
この観察周波数と行動周波数の結合はアーキテクチャ上の誤りであると主張する。
我々は、SDO(Signal-Driven Observation)を提案する。これは、専用のサブコールで完全なDOMを読み込むが、タスク関連要素のみを返す。
我々は、SDOが導入するオープンな問題の概要と、Webエージェント設計における中核的なアーキテクチャ上の決定として観察圧縮を扱うようコミュニティに呼びかける。
論文 参考訳（メタデータ） (2026-06-04T20:48:37Z) - Scaling Self-Evolving Agents via Parametric Memory [69.96398842169002]
既存のメモリ拡張LDMエージェントは、過去の経験をプロンプト空間にのみ保存する。
自己進化型パラメトリックメモリフレームワークである textttTMEM を導入する。
textttTMEMは、様々なモデルスケールで要約ベースのベースラインと検索ベースのベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-06-03T07:18:31Z) - Cookie-Bench: Continuous On-screen Key Interaction Evaluation for Web Generation [24.920344869492066]
textbfdatanameは11ドメイン、54リーフ、1000キューのWebDevベンチマークで、静的表現とインタラクティブアプリケーションの両方にまたがる。
textbfframenameはフラヴェルのメタ認知モニタリングに基づいており、3段階にわたる判断から証拠の蓄積を分離している。
論文 参考訳（メタデータ） (2026-05-28T14:30:33Z) - Progressive Online Video Understanding with Evidence-Aligned Timing and Transparent Decisions [75.23170605943457]
textbfmodelは、メモリ統合から推論制御を分離するフレームワークである。
emphActive Thinking Decision Maker (ATDM)は、決定プロセスの外部化を行う透明な推論コントローラである。
emphHierarchical Progressive Semantic Integration (HPSI)モジュールは効率的なメモリシステムとして機能する。
論文 参考訳（メタデータ） (2026-04-20T16:15:33Z) - WebPII: Benchmarking Visual PII Detection for Computer-Use Agents [0.0]
44,865個の注釈付きeコマースUI画像の詳細な合成ベンチマークであるWebPIIを紹介する。
我々は,テキスト抽出基準の精度を2倍にするのではなく,実用性を示すためにWebRedactを訓練する。
プライバシ保護型コンピュータ利用研究を支援するデータセットとモデルをリリースする。
論文 参考訳（メタデータ） (2026-03-18T04:41:16Z) - BrowserArena: Evaluating LLM Agents on Real-World Web Navigation Tasks [51.803138848305814]
我々はBrowserArenaを紹介した。BrowserArenaは、ユーザから送信されたタスクを収集するオープンソースのエージェント評価プラットフォームである。
Captcha解決、ポップアップバナー削除、URLへのダイレクトナビゲーションの3つの一貫した障害モードを特定します。
本研究は,Webエージェントの多様性と脆性の両方を明らかにする。
論文 参考訳（メタデータ） (2025-10-02T15:22:21Z) - Beyond Pixels: Exploring DOM Downsampling for LLM-Based Web Agents [0.0]
本稿では,最初のDOMダウンサンプリングアルゴリズムであるD2Snapを提案する。
GPT-4oのバックエンドをベースとして,Online-Mind2Webデータセットからサンプリングしたタスク上でD2Snapを評価する。
論文 参考訳（メタデータ） (2025-08-06T12:56:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。