論文の概要: OnTrack: Real-Time Monitoring and Intervention in LLM Agent Trajectories via Streaming Structure-Aware Optimal Transport
- arxiv url: http://arxiv.org/abs/2610.12375v1
- Date: Thu, 08 Oct 2026 17:32:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:54.227345
- Title: OnTrack: Real-Time Monitoring and Intervention in LLM Agent Trajectories via Streaming Structure-Aware Optimal Transport
- Title（参考訳）: OnTrack: ストリーミング構造を考慮した最適輸送によるLLMエージェント軌道のリアルタイムモニタリングと干渉
- Abstract要約: LLMエージェントは、最小限のルールベースのセーフガードで自律的に機能する。
最近の研究は、セーフガードエージェントを使用して行動を監視したり、ポストホック後のログを評価したりすることで、この問題を解決する。
OnTrackは、エージェントのステップと依存関係を、記録された成功した実行結果と比較するストリーミング監視機構である。
- 参考スコア（独自算出の注目度）: 2.6389015277562335
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Agents are deployed in applications from trip planners and stock trading to IT incident triage. In most cases, LLM agents work autonomously with minimal rule-based safeguarding, leading to cost and safety issues from irreversible actions. Recent works resolve this either by using a safeguard agent to monitor behavior or evaluating logs post-hoc. The first adds cost and latency to every step; the second delivers its verdict after the run, when tokens are burned and damage is done. To overcome this, we propose OnTrack, a streaming monitoring mechanism that compares an agent's steps and dependencies against recorded successful runs to alert users or block the agent in about a millisecond per step. We study this problem in three regimes of decreasing access: full reference access (historical runs and tool schemas), intermediate access (only tool schemas), and no prior knowledge (only step logs as generated). Expectation of OnTrack's monitoring capabilities reduces as data access drops, ranging from plan violation detection to identifying loops, stalls, and repeated tool calls. Finally, we evaluate OnTrack using SWE-bench trajectories. Based on the first 8 steps, our method ranks failing trajectories below succeeding ones better than content similarity approaches (+0.057 AUROC). With an abort policy, we save about 18% of compute that would be burned on failing runs, where 83% of interrupted runs were actually heading to failure (5 out of 6 aborts were correct).
- Abstract（参考訳）: エージェントはトリッププランナーや株式トレーディング、ITインシデントトリアージといったアプリケーションにデプロイされる。
ほとんどの場合、LLMエージェントは最小限のルールベースの安全対策で自律的に働き、不可逆的な行動によるコストと安全性の問題を引き起こす。
最近の研究は、セーフガードエージェントを使用して行動を監視したり、ポストホック後のログを評価したりすることで、この問題を解決する。
1つはコストと遅延をステップ毎に加算する。もう1つは、トークンが燃えて損傷が生じた場合に、実行後に判断を下す。
この問題を解決するために、OnTrackを提案する。OnTrackは、エージェントのステップと、記録された成功した実行に対する依存関係を比較して、ユーザを警告したり、エージェントを1ステップあたり約1ミリ秒でブロックするストリーミング監視メカニズムである。
完全な参照アクセス(履歴実行とツールスキーマ)、中間アクセス(ツールスキーマのみ)、事前知識(生成したステップログのみ)の3つの方法でこの問題を研究する。
OnTrackの監視機能への期待は、プラン違反検出からループの特定、ストール、繰り返しツールコールに至るまで、データアクセスが低下するにつれて減少する。
最後に,SWE-bench trajectories を用いた OnTrack の評価を行った。
最初の8ステップに基づいて、本手法は、コンテンツ類似性アプローチ(+0.057 AUROC)よりも、後続のトラジェクトリよりも低い軌道をランク付けする。
停止ポリシーでは、障害発生時に消費される計算の約18%を節約し、中断された実行の83%が実際に障害に向かっていた(6件中5件が正しい)。
関連論文リスト
- Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。
コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。
3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
論文 参考訳（メタデータ） (2026-10-07T17:37:19Z) - hacktrace: behavior-supervised detection of reward hacking during code generation [52.709361620508595]
コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。
我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。
HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
論文 参考訳（メタデータ） (2026-10-02T09:35:59Z) - StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing [80.39644823192113]
StepGuardは、完了したエージェントの軌跡を監査し、実行前にツールアクションをチェックするステップレベルのガードモデルである。
StepGuardは、GPT-5.4に匹敵するパフォーマンスで、オープンウェイトガードモデルの中で最高の平均精度を達成した。
AgentDojoとAgentDynのエージェントを保護するために使用される場合、StepGuardは平均攻撃成功率を77.3%削減する。
論文 参考訳（メタデータ） (2026-08-25T16:17:27Z) - ClawProBench: Trace-Aware Evaluation of AI Agents with Runtime Coverage and Frozen Workplace-Style Holdouts [0.0]
エージェントベンチマークは、エージェントがステートフルランタイム上で実行されている場合でも、最終回答のみを評価することが多い。
OpenClaw上でインスタンス化されたランタイムネイティブエージェント評価のためのトレース対応ベンチマークであるClawProBenchを提案する。
論文 参考訳（メタデータ） (2026-08-23T17:09:02Z) - Leveraging Trajectory Graphs for Pre-Execution Error Diagnosis in Agentic LLM Systems [47.66236392009794]
LLM(Large Language Model)ベースのエージェントは、様々な複雑な対話的タスクにおいて、例外的なパフォーマンスを示す。
textitTrajectory Graph Copilot は LLM エージェントの副操縦士' として機能する新しいフレームワークで,実行前に潜在的な動作エラーを診断する。
論文 参考訳（メタデータ） (2026-07-29T20:14:43Z) - Early Diagnosis of Wasted Computation in Multi-Agent LLM Systems via Failure-Aware Observability [8.036549927091286]
本稿では,マルチエージェントLSMトレースにおける無駄な計算を診断するための,故障を考慮した可観測性フレームワークを提案する。
このフレームワークを3エージェントの質問応答システムでインスタンス化し、165のGAIA検証トレース上で同一の実行上限で評価する。
論文 参考訳（メタデータ） (2026-05-31T17:50:11Z) - AgentForesight: Online Auditing for Early Failure Prediction in Multi-Agent Systems [30.172832661173928]
LLMベースのマルチエージェントシステムは、長距離タスクにますますデプロイされている。
単一の決定的なエラーは、しばしば下流のエージェントやカスケードによって軌道レベルの障害として受け入れられる。
我々は,この問題をオンライン監査として再編成するフレームワークであるAgentForesightを紹介した。
論文 参考訳（メタデータ） (2026-05-09T05:55:19Z) - Graph-Based Self-Healing Tool Routing for Cost-Efficient LLM Agents [0.0]
自己修復ルータはフォールトトレラントなオーケストレーションアーキテクチャである。
ほとんどのエージェント制御フロー決定を、推論よりもルーティングとして扱う。
すべての障害はログ化されたリルートか明示的なエスカレーションのどちらかで、無音スキップはしない。
論文 参考訳（メタデータ） (2026-03-02T07:21:15Z) - Detecting Object Tracking Failure via Sequential Hypothesis Testing [80.7891291021747]
ビデオにおけるリアルタイムのオンラインオブジェクト追跡は、コンピュータビジョンにおける中核的なタスクである。
本稿では,物体追跡を逐次的仮説テストとして解釈することを提案する。
本研究では,地中追跡情報と内部追跡情報の両方を活用することにより,教師なしと教師なしの両方の変種を提案する。
論文 参考訳（メタデータ） (2026-02-13T14:57:15Z) - Learning to Track Objects from Unlabeled Videos [63.149201681380305]
本稿では,Unsupervised Single Object Tracker (USOT) をスクラッチから学習することを提案する。
教師なしトラッカーと教師なしトラッカーのギャップを狭めるために,3段階からなる効果的な教師なし学習手法を提案する。
実験の結果、未ラベルのビデオから得られたUSOTは、最先端の教師なしトラッカーよりも大きなマージンでうまく機能していることがわかった。
論文 参考訳（メタデータ） (2021-08-28T22:10:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。