論文の概要: Interpretable Early Termination of Web Navigation Agents via Closed Sequential Pattern Mining
- arxiv url: http://arxiv.org/abs/2611.04142v1
- Date: Tue, 03 Nov 2026 01:35:51 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:42:44.744117
- Title: Interpretable Early Termination of Web Navigation Agents via Closed Sequential Pattern Mining
- Title(参考訳): クローズドシーケンスパターンマイニングによるWebナビゲーションエージェントの解釈可能な早期終了
- Abstract要約: オープンウェイト言語モデル上に構築されたWebナビゲーションエージェントは、頻繁に失敗し、遅く失敗する。
近年の研究では、早期終了はコスト削減戦略として有効であることが示されているが、既存のアプローチでは、診断や人的監視をサポートしない不透明な終了決定が生み出されている。
本研究では, エージェント実行トレースのKステッププレフィックスに, クローズドシーケンシャルパターンマイニング(BIDE+)を適用して, 4カテゴリの障害分類と関連する修復勧告を整理した, 小規模な障害署名ライブラリを生成する。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Web navigation agents built on open-weight language models fail often and fail late, with most of the tokens spent after the trajectory has become unrecoverable. Recent work has shown that early termination is a viable cost-reduction strategy, but existing approaches produce opaque termination decisions that do not support diagnosis or human oversight. In this work we apply closed sequential pattern mining (BIDE+) to K-step prefixes of agent execution traces to produce a small, human-reviewable failure-signature library that organizes into a four-category failure taxonomy with associated repair recommendations. We use a multi-variant evaluation protocol that explicitly removes contamination artifacts (zero-step crashes and trivially separable single-step successes) so that reported detection accuracy reflects behavioral discrimination rather than trace-length distributions. We evaluate our methodology on 1,544 MiniWoB++ traces collected from three open-weight language models, achieving the best F1 at K=3 on the Exclude-errors configuration across eight methods (0.717), recovering 88% of test-set failures within three steps, and supporting an early-termination policy that saves 26.3% of tokens at 92% precision.
- Abstract(参考訳): オープンウェイト言語モデル上に構築されたWebナビゲーションエージェントは、頻繁に失敗し、遅く失敗する。
近年の研究では、早期終了はコスト削減戦略として有効であることが示されているが、既存のアプローチでは、診断や人的監視をサポートしない不透明な終了決定が生み出されている。
本研究は, クローズドシーケンシャルパターンマイニング(BIDE+)をエージェント実行トレースのKステッププレフィックスに適用し, 4カテゴリの障害分類と関連する修復勧告を整理した, 人によるレビュー可能な小さな障害署名ライブラリを生成する。
汚染物(ゼロステップのクラッシュと自明に分離可能な単一ステップの成功)を明示的に除去する多変量評価プロトコルを用いて,検出精度の報告は,トレース長分布よりも行動識別を反映する。
我々は,3つのオープンウェイト言語モデルから収集した1,544のMiniWoB++トレースに対して,8つのメソッド (0.717) でK=3で最高のF1を達成するとともに,テストセット失敗の88%を3ステップで回収し,92%の精度で26.3%のトークンを節約する早期終了ポリシーをサポートする。
関連論文リスト
- Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。
コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。
3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
論文 参考訳(メタデータ) (2026-10-07T17:37:19Z) - Traceable LLM Reasoning for Fake-Order Fraud Detection [11.019324159065015]
DeepScrubは、大規模言語モデルに基づいて構築された強化学習フレームワークである。
現実の偽オーダー不正検出データセットでは、DeepScrubはマクロF1スコア85.3%を獲得し、最高のベースラインを2.7%上回っている。
4週間のパイロット試験で、DeepScrubは91.8%の精度と88.5%のリコールを達成した。
論文 参考訳(メタデータ) (2026-07-25T06:51:02Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳(メタデータ) (2026-07-17T17:41:16Z) - Failure as a Process: An Anatomy of CLI Coding Agent Trajectories [21.513740407266354]
大規模言語モデル(LLM)コーディングエージェントは、端末ベースの環境でソフトウェアエンジニアリングタスクを自律的に実行するために、ますます多くデプロイされている。
既存の実証研究は、なぜコーディングエージェントが失敗するのかを調査するが、失敗を一時的なプロセスではなく最終的な結果として扱う。
本稿では、CLIコーディングエージェント障害軌跡に関する大規模な実証的研究を行い、プロセス指向のフレームワークを導入し、実行軌跡をまたいだ障害の開始、進化、回復を解析した。
論文 参考訳(メタデータ) (2026-07-10T15:25:56Z) - Doomed from the Start: Early Abort of LLM Agent Episodes via a Recall-Controlled Probe Cascade [14.63102636181275]
大規模言語モデル(LLM)エージェントは、既に失敗する運命にある複数ステップの軌道を継続することで、推論計算を無駄にすることが多い。
隠れ状態プローブを用いたLSMエージェントの早期故障予測と推定時早期停止について検討した。
LLMエージェント推論コストを削減するために,この信号をリコール制御された中止カスケードに変換する。
論文 参考訳(メタデータ) (2026-07-07T17:03:55Z) - Reasoning Quality Emerges Early: Data Curation for Reasoning Models [58.56882815783977]
我々は,初期推論トークンのみを用いて,多種多様かつ挑戦的な推論例を識別可能であることを示す。
本手法は,トークン効率を91%向上させながら,既存のベースラインを最大1.7%向上させる。
論文 参考訳(メタデータ) (2026-06-25T09:32:58Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - The Detection-Extraction Gap: Models Know the Answer Before They Can Say It [1.423262366328995]
部分的な接頭辞から解答が回復した後に連鎖トークンが生成されることを示す。
早期接頭辞からの無料継続は、10%のトレースでも正しい回答を回復するが、強制抽出はこれらのケースの42%で失敗する。
検出と抽出の両方に自由継続を利用するブラックボックス適応早期退避(BAEE)を提案する。
論文 参考訳(メタデータ) (2026-04-08T02:47:31Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳(メタデータ) (2026-04-07T17:43:18Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳(メタデータ) (2026-03-15T16:13:58Z) - BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。
両課題に対処する統合フレームワークであるBadCLIP++を提案する。
ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。
持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
論文 参考訳(メタデータ) (2026-02-19T08:31:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。