論文の概要: Monitoring Web Agents Without Internal Signals: Observable Trajectories and Key-Step Supervision
- arxiv url: http://arxiv.org/abs/2609.02057v1
- Date: Wed, 02 Sep 2026 03:34:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.041345
- Title: Monitoring Web Agents Without Internal Signals: Observable Trajectories and Key-Step Supervision
- Title（参考訳）: 内部信号のないWebエージェントの監視 - 観測可能なトラジェクトリとキーステップスーパービジョン
- Abstract要約: 観測可能な軌道信号を用いたWebエージェントのリスク予測について検討する。
観測された継続において訂正されない最初の臨界誤差をラベル付けし、キーステップ境界として最終失敗と関連付ける。
得られた予測者は、固定された虚偽の予算の下で早期介入をサポートし、保留のウェブサイトカテゴリー間での転送もサポートする。
- 参考スコア（独自算出の注目度）: 19.63482181182923
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reliable web-agent monitoring is difficult when model-internal uncertainty signals such as token logits are unavailable. In this work, we study prefix-level risk prediction for web agents using observable trajectory signals: given an evolving prefix, estimate whether the current execution remains on track or is tending toward failure. We derive two observable trajectory representations: Macro features summarize cross-step agent--environment behavior and feedback, while Micro features measure the consistency of intention, action, and anticipated state change through repeated black-box queries. Instead of inheriting the final result label, we label the first critical error that remains uncorrected in the observed continuation and is associated with final failure as a key-step boundary, preserving valid early prefixes of failed trajectories as on track. Across WebArena-Lite and Online Mind2Web web agent benchmarks with five open- and closed-source backbones, observable trajectory signals are competitive with internal-signal baselines. The resulting predictors also support early intervention under fixed false-cut budgets and transfer across held-out website categories. These findings show that observable trajectory signals support valuable risk prediction abilities.
- Abstract（参考訳）: トークンロジットなどのモデル内不確実性信号が利用できない場合、信頼性の高いWebエージェント監視は困難である。
本研究では,観測可能な軌道信号を用いたWebエージェントのプレフィックスレベルのリスク予測について検討する:進化したプレフィックスを与えられた場合,現在の実行が軌道上に留まっているか,あるいは障害の傾向にあるかを推定する。
マクロ機能はクロスステップエージェント-環境行動とフィードバックを要約し、マイクロ機能はブラックボックスクエリを繰り返すことで、意図、行動、そして期待される状態変化の一貫性を計測する。
最終結果ラベルを継承する代わりに、観測された継続中に訂正されず、最終失敗をキーステップ境界として関連付ける最初のクリティカルエラーをラベル付けします。
WebArena-Lite と Online Mind2Web の Web エージェントベンチマークには,5つのオープンソースバックボーンとクローズドソースのバックボーンがある。
得られた予測者は、固定された虚偽の予算の下で早期介入をサポートし、保留のウェブサイトカテゴリー間での転送もサポートする。
これらの結果から,観測可能な軌道信号は有意なリスク予測能力を支持することが示唆された。
関連論文リスト
- One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。
トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。
OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
論文 参考訳（メタデータ） (2026-09-06T08:32:59Z) - From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。
RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。
我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
論文 参考訳（メタデータ） (2026-08-17T01:40:14Z) - ExComm: Exploration-Stage Communication for Error-Resilient Agentic Test-Time Scaling [57.42714978834704]
ExCommは、探索段階のエージェントテストタイムスケーリングのための通信プロトコルである。
ExCommは、強いテスト時間スケーリングベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2026-05-21T07:38:44Z) - AgentForesight: Online Auditing for Early Failure Prediction in Multi-Agent Systems [30.172832661173928]
LLMベースのマルチエージェントシステムは、長距離タスクにますますデプロイされている。
単一の決定的なエラーは、しばしば下流のエージェントやカスケードによって軌道レベルの障害として受け入れられる。
我々は,この問題をオンライン監査として再編成するフレームワークであるAgentForesightを紹介した。
論文 参考訳（メタデータ） (2026-05-09T05:55:19Z) - NeuroTrace: Inference Provenance-Based Detection of Adversarial Examples [1.096626056612224]
Inference Provenance Graphs (IPGs) を用いた推論前駆体分析フレームワークであるNeuroTraceを紹介する。
IPGは、モデルの前方通過中にアクティベーション動作とパラメータ誘起データフローの両方をキャプチャする異種グラフである。
攻撃中, マルチアタック, クロススリート転送設定下での逆例検出のためのIPGベース検出器の評価を行った。
論文 参考訳（メタデータ） (2026-04-15T22:23:40Z) - Detecting Object Tracking Failure via Sequential Hypothesis Testing [80.7891291021747]
ビデオにおけるリアルタイムのオンラインオブジェクト追跡は、コンピュータビジョンにおける中核的なタスクである。
本稿では,物体追跡を逐次的仮説テストとして解釈することを提案する。
本研究では,地中追跡情報と内部追跡情報の両方を活用することにより,教師なしと教師なしの両方の変種を提案する。
論文 参考訳（メタデータ） (2026-02-13T14:57:15Z) - BURN: Backdoor Unlearning via Adversarial Boundary Analysis [73.14147934175604]
Backdoor Unlearningは、モデル本来の機能を保持しながら、バックドア関連の情報を削除することを目的としている。
本稿では, 偽相関疎結合, プログレッシブデータリファインメント, モデル浄化を統合した新しい防御フレームワーク, BURNによるバックドア・アンラーニングを提案する。
論文 参考訳（メタデータ） (2025-07-14T17:13:06Z) - SafetyNet: Detecting Harmful Outputs in LLMs by Modeling and Monitoring Deceptive Behaviors [2.07180164747172]
原子力や航空などのリスクの高い産業は、危険なシステム状態を検出するためにリアルタイムモニタリングを使用している。
教師なしアプローチを用いることで、有害なAI出力が発生する前に予測するリアルタイムフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-20T12:49:58Z) - Streaming Motion Forecasting for Autonomous Driving [71.7468645504988]
ストリーミングデータにおける将来の軌跡を問うベンチマークを導入し,これを「ストリーミング予測」と呼ぶ。
我々のベンチマークは本質的に、スナップショットベースのベンチマークでは見過ごされていない安全上の問題であるエージェントの消失と再出現を捉えている。
我々は,任意のスナップショットベースの予測器をストリーミング予測器に適応させることのできる,"Predictive Streamer"と呼ばれるプラグアンドプレイメタアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-02T17:13:16Z) - TRUST-LAPSE: An Explainable and Actionable Mistrust Scoring Framework
for Model Monitoring [4.262769931159288]
連続モデル監視のための"ミストラスト"スコアリングフレームワークであるTRUST-LAPSEを提案する。
我々は,各入力サンプルのモデル予測の信頼性を,潜時空間埋め込みのシーケンスを用いて評価する。
AUROCs 84.1 (vision), 73.9 (audio), 77.1 (clinical EEGs)
論文 参考訳（メタデータ） (2022-07-22T18:32:38Z) - Predictive Business Process Monitoring via Generative Adversarial Nets:
The Case of Next Event Prediction [0.026249027950824504]
本稿では,次の事象予測の問題に対処するための,新たな逆トレーニングフレームワークを提案する。
これは、2人のプレイヤーのゲームで1つのニューラルネットワークをもう1つのニューラルネットワークと対戦させることで機能し、それは地上の真実と区別できない予測につながる。
単純なネットワークアーキテクチャとナイーブな特徴符号化を使用しても、正確さと予測のイヤーラインの両方において、体系的にすべてのベースラインを上回ります。
論文 参考訳（メタデータ） (2020-03-25T08:31:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。