論文の概要: Why Generate a Click? Plug-in Decision Heads for Web Agents
- arxiv url: http://arxiv.org/abs/2610.20107v1
- Date: Wed, 14 Oct 2026 12:39:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.141076
- Title: Why Generate a Click? Plug-in Decision Heads for Web Agents
- Title（参考訳）: なぜクリックを生成するのか? Webエージェントのためのプラグイン決定ヘッド
- Abstract要約: 私たちは、ジェネレータがゴールとスクリーンショットを読みながら計算する隠れ状態から直接選択を読みます。
信頼のカスケードは、確実にヘッドの動作を実行し、そうでなければ、ジェネレータは、同じフォワードパスのKVキャッシュからデコードする。
Qwen3-VL 4Bと8Bのジェネレータが213kのウェブステップでトレーニングされているため、7つのオフラインテストセットでは、カスケードが0.3ポイント下から1.4ポイント上に保持されている。
- 参考スコア（独自算出の注目度）: 11.543353599329675
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Web agents built on vision language models decide every action by generating text such as click(12), although most of that text encodes a choice among a few action types and a few dozen marked elements. We read these choices directly from the hidden states that the generator computes while it reads the goal and the screenshot. Plug-in decision heads on a frozen generator predict the action type, pool the visual tokens inside each numbered box to pick the target, and point at a listed text option or at a WRITE slot that leaves the writing of new text to the generator. A confidence cascade executes the heads' action when they are sure and otherwise lets the generator decode from the KV cache of the same forward pass. With Qwen3-VL 4B and 8B generators trained on 213k web steps, a strict threshold keeps the cascade between 0.3 points below and 1.4 points above the generator on seven offline test sets while the heads decide 12 to 64% of the steps. A looser threshold raises step success on unseen Mind2Web websites by 3.1 and 1.8 points, costs up to 2 points on GUIAct and MiniWoB++, and lifts WebArena task success from 12.5 to 13.8% (4B) and from 13.6 to 14.6% (8B) with less than half of the generated tokens. Training the heads jointly with the generator lowers the generator's own step success by up to 4.9 points; heads on a frozen generator avoid this cost.
- Abstract（参考訳）: 視覚言語モデル上に構築されたWebエージェントは、click(12)のようなテキストを生成することで、すべてのアクションを決定する。
これらの選択は、ジェネレータがゴールとスクリーンショットを読みながら計算する隠された状態から直接読みます。
フリーズジェネレータ上のプラグイン決定ヘッドは、アクションタイプを予測し、各番号付きボックス内に視覚トークンをプールしてターゲットを選択し、リストされたテキストオプションや、新しいテキストの書き込みをジェネレータに残すWRITEスロットを指します。
信頼のカスケードは、確実にヘッドの動作を実行し、そうでなければ、ジェネレータは、同じフォワードパスのKVキャッシュからデコードする。
Qwen3-VL 4B と 8B のジェネレータが213kのウェブステップでトレーニングされた場合、ヘッドがステップの12から64%を決定する間、7つのオフラインテストセットでジェネレータの下の0.3ポイントと1.4ポイントのカスケードを維持する厳格なしきい値が設定される。
より緩い閾値はMind2Webウェブサイトの3.1から1.8ポイントのステップ成功、GUIActとMiniWoB++で最大2ポイント、WebArenaタスクの成功を12.5から13.8%(4B)、生成トークンの半分未満で13.6から14.6%(8B)に引き上げる。
発電機と共同でヘッドを訓練することで、発電機のステップ成功を最大4.9ポイント下げる。
関連論文リスト
- Segment Where You Look: Attention as the Interface Between Language Models and Segmenters [77.48698308182495]
視覚言語モデル(VLM)は、言語から切り離されたモデルは、参照者の位置をピクセルデコーダに渡す必要がある。
画像トークンに対する[SEG]トークンの注意。
我々は、[SEG]埋め込みをデコーダのプロンプトとしてこの注意に置き換えるAttnSegを紹介します。
論文 参考訳（メタデータ） (2026-10-13T17:06:29Z) - Priced Guidance: Can Language Models Generate Future Research Ideas? [64.46152947961077]
圧縮レンズを用いて新しい研究アイデアを創出する言語モデルの能力を評価する。
我々は,言語モデルが将来の研究思想の本質を示唆することなく生み出すという,潜在的に小さな確率を低くすることを目的としている。
予測において、モデルが少なくとも K ビットのガイダンスで対象のアイデアを復元できるなら、少なくとも 2-K$ の確率でガイダンスなしでこのアイデアを生成できることを示す。
論文 参考訳（メタデータ） (2026-10-04T05:45:08Z) - Same Bytes, Different Authority: Reserved-Token Representations in Chat-Template Prompt Injection [3.758569096703232]
|im_start|> は、単一の予約制御トークンまたは通常のサブワードトークンのシーケンスとしてモデルに到達することができる。
入力された命令の権限のどれだけが、学習された表現の予約トークンから来ているかを測定する。
論文 参考訳（メタデータ） (2026-09-28T14:51:21Z) - Planning or Improvisation? Stress-Testing the Poetry Planning Site on Open Models and Open Cross-Layer Transcoders [0.7310043452300737]
クロード3.5 俳句計画:線が書かれる前の新線で候補韻文の特徴が活動している。
我々は図13の形状を再現するが、その機構は再現しない。
論文 参考訳（メタデータ） (2026-09-16T10:30:03Z) - Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning [78.75986976062454]
大規模言語モデルは、拡張推論を必要とするタスクにおいて優れたパフォーマンスを達成する。
既存のKVキャッシュ圧縮メソッドは、1つのパラダイムを共有している。
選択信号はほとんど役に立たないことを示す。ランダム注意は各アテンションヘッド内でプロンプトと退避者をランダムに保ち、スコアを全く計算しない。
論文 参考訳（メタデータ） (2026-09-03T06:38:38Z) - Representation Distribution Matching for One-Step Visual Generation [107.84208192304455]
表現分布マッチング(Representation Distribution Matching, RDM)の設計空間の解明
2つの設計軸、分布がどのように比較され、それらの表現が比較されるかを特定し、それに沿って制御された研究によって3つの結果が得られた。
同じレシピは4ステップのFLUX.2[klein]を1ステップのジェネレータに後付けし、GenEvalの4ステップバージョンである0.826から0.794、PickScoreの22.76から22.58を90 H200 GPU時間で上回った。
論文 参考訳（メタデータ） (2026-07-02T16:15:38Z) - Output Vector Editing for Memorization Mitigation in Large Language Models [68.30351930772788]
大規模な言語モデルは、トレーニングデータからシーケンスを記憶し、再現し、プライバシ、著作権、セキュリティリスクを生み出す。
既存のニューロンレベルの緩和方法は、ニューロンの活性化をゼロにすることで編集を等しくするが、活性化はニューロンが関与するかどうかのみを制御する。
記憶継続に責任を負うニューロンの小さな集合を探索する制約最適化編集である出力ベクトル編集を提案する。
論文 参考訳（メタデータ） (2026-06-17T07:29:18Z) - Fuzzing with Agents? Generators Are All You Need [1.743178097265341]
我々は、AI符号化エージェントがターゲット固有のジェネレータを自動で合成できるかどうかを検討する。
我々は,実世界の7つのJavaライブラリのファジターゲット上の人書きジェネレータに対して,Gentooの3つの構成を評価する。
論文 参考訳（メタデータ） (2026-04-01T22:28:52Z) - Reinforcement learning guided fuzz testing for a browser's HTML
rendering engine [0.9176056742068814]
本稿では,訓練されたテストケースジェネレータ深層学習モデルと二重深層Q-ネットワークを組み合わせた新しい手法を提案する。
DDQNはコードカバレッジ信号に基づいてテストケースの作成をガイドする。
提案手法は,Firefox HTMLレンダリングエンジンのジェネレータモデルのコードカバレッジ性能を最大18.5%向上させる。
論文 参考訳（メタデータ） (2023-07-27T00:31:02Z) - Paraphrasing evades detectors of AI-generated text, but retrieval is an
effective defense [56.077252790310176]
本稿では,パラフレーズ生成モデル(DIPPER)を提案する。
DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。
我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
論文 参考訳（メタデータ） (2023-03-23T16:29:27Z) - Multi-Objective level generator generation with Marahel [8.400023145634863]
我々は,多目的最適化アルゴリズムNSGA-IIを用いて,3つの異なる問題に対するジェネレータの探索を行う。
我々は、より効率的なジェネレータを見つけるために進化を推し進めるために、この表現をマラヘル言語のサブセットに制限する。
論文 参考訳（メタデータ） (2020-05-17T20:56:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。