論文の概要: TRACE: Trajectory Risk-Aware Compression for Long-Horizon Agent Safety
- arxiv url: http://arxiv.org/abs/2606.00611v1
- Date: Sat, 30 May 2026 08:20:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 00:57:58.905792
- Title: TRACE: Trajectory Risk-Aware Compression for Long-Horizon Agent Safety
- Title（参考訳）: TRACE:長距離エージェント安全のための軌道リスク認識圧縮
- Abstract要約: 既存のターンレベルまたはショートコンテクスト検出器は、そのような証拠を水平線上に確実に保持し、集約するのに苦労する。
長距離エージェント安全(TRACE)のための軌道リスク認識圧縮を提案する。
TRACE は a-Reader 設計を用いており、完全な軌跡を軌道レベルの監督の下でコンパクトな潜伏証拠状態にエンコードし、読者はこの潜伏証拠状態を安全基準として生の軌跡を判断する。
- 参考スコア（独自算出の注目度）: 22.9990584834238
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-horizon LLM agents produce safety evidence across long trajectories, where sparse, delayed, and compositional risk signals often escape local moderation. Existing turn-level or short-context detectors struggle to reliably retain and aggregate such evidence over extended horizons. We reframe long-horizon agent safety detection as trajectory-level evidence compression and propose Trajectory Risk-Aware Compression for Long-Horizon Agent Safety (TRACE). TRACE uses a Compressor-Reader design: the Compressor encodes the full trajectory into a compact latent evidence state under trajectory-level supervision, and the Reader judges the raw trajectory with this latent evidence state as a safety reference. This design helps aggregate dispersed risk cues and reduce premature evidence loss. Across ASSEBench, Pre-Ex-Bench, and R-Judge, TRACE achieves the best accuracy on all evaluated backbones, improving over strong baselines by up to 12.6 percentage points. On LongSafety, TRACE shows smaller performance degradation as context length grows. Attention visualizations and case studies suggest that the compressed reference helps the Reader focus on risk-critical segments and recover cross-step evidence. Code is available at https://github.com/Peregrine123/TRACE_official.
- Abstract（参考訳）: ロングホライゾンLSM剤は、スパース、遅延、構成的リスク信号が局所的なモデレーションからしばしば逃れる、長い軌道にまたがる安全証拠を生成する。
既存のターンレベルまたはショートコンテクスト検出器は、そのような証拠を水平線上に確実に保持し、集約するのに苦労する。
我々は,長距離エージェントの安全性検出を軌道レベルのエビデンス圧縮として再設定し,長距離エージェント安全のための軌道リスク認識圧縮(TRACE)を提案する。
圧縮機は、軌道レベルの監督の下で、コンパクトな潜在証拠状態に全軌道を符号化し、読者は、この潜在証拠状態を安全基準として生軌道を判断する。
この設計は、分散されたリスクキューを集約し、未熟なエビデンス損失を減らすのに役立つ。
ASSEBench、Pre-Ex-Bench、R-Judgeの他、TRACEは評価されたすべてのバックボーン上で最高の精度を達成し、最大12.6ポイントの強いベースラインよりも改善している。
LongSafetyでは、TRACEはコンテキスト長が大きくなるにつれてパフォーマンスが低下する。
注意の可視化とケーススタディは、圧縮された参照がリスククリティカルなセグメントに集中し、クロスステップの証拠を回収するのに役立つことを示唆している。
コードはhttps://github.com/Peregrine123/TRACE_officialで公開されている。
関連論文リスト
- Cross-Session Decomposition Attacks: Scaling Risk and Intent-Aligned Retrieval Defense [49.05879299987137]
言語モデリングの損失の低減は、より有用なモデルを生み出します。
本研究は,このメカニズムの安全性について,独立した相互作用を通じて,良質なサブクエリが要求され,後に禁忌の対象へと再帰される,エンフクロス・セッション分解攻撃(enmphcross-session decomposition attack)における研究である。
我々は、この設定をEmphcompositional safety riskとして定式化し、条件付きリスク-転送境界を証明する。
論文 参考訳（メタデータ） (2026-08-28T05:39:29Z) - Reassembling Distributed Risk: Trajectory-Conditioned Action Generation for Multi-Turn Agent Safety [12.022506016268112]
マルチターン分解攻撃では、有害な目的を個別にもっともらしい要求とツールコールに分散することができる。
本稿では,軌跡レベルのセキュリティ証拠に対して行動生成を条件とした世代防衛である分散リスク(ReDiR)を提案する。
我々はReDiRを3つのモデルファミリーと8つのホールドアウトツールドメインにまたがる2つのエージェントセーフティベンチマークで評価した。
論文 参考訳（メタデータ） (2026-08-26T12:28:35Z) - Breadcrumbing Search Agents [118.20284823674382]
LLMベースの検索エージェントは情報検索タスクに広く利用されているが、外部ツールへの依存度は重大なセキュリティリスクをもたらす。
検索およびページ観察を行うチャネルは脆弱なセキュリティ境界であることを示す。
制約付きツール仲介脅威モデルの下では、クエリ毎に1つのコントロールされた結果のみを追加することで、攻撃の成功を大幅に増加させることができる。
論文 参考訳（メタデータ） (2026-08-05T07:57:27Z) - SciTrace: Trajectory-Aware Safety Reasoning for Scientific Discovery Agents [10.651628193254028]
SciTraceは、科学エージェントパイプラインのすべてのステージに安全推論を織り込むフレームワークである。
240のリスクの高い研究課題と120のツール関連リスクタスクを6つの科学的領域に分散して評価した。
論文 参考訳（メタデータ） (2026-06-06T15:44:50Z) - LongTraceRL: Learning Long-Context Reasoning from Search Agent Trajectories with Rubric Rewards [53.339700196282905]
検証可能な報酬(RLVR)による強化学習は,この課題を約束している。
既存の方法は、信頼性の低いインタプリタと、スパースで結果のみの報酬信号によって制限される。
textscLongTraceRLは、ランダムサンプリングやワンショット検索によって作られたものよりもはるかに難しいトレーニングコンテキストを生成する。
論文 参考訳（メタデータ） (2026-05-29T17:51:40Z) - COMPASS: Cognitive MCTS-Guided Process Alignment for Safe Search Agents [22.338984431904816]
LLMによる検索エージェントは多段階の推論とツールの使用を可能にする。
既存のアライメント手法は、スパース安全信号の捕捉に苦労し、多段階の相互作用における多様な違反を監視できない。
本稿では,エージェントワークフロー全体にわたって堅牢な安全アライメントを実現するための,コグニティブMCTS型プロセスアライメントフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-29T04:51:06Z) - TRACES: Proactive Safety Auditing for Multi-Turn LLM Agents via Trajectory-State Modeling [18.58206519209223]
LLMエージェントは、マルチターンツールの使用と環境相互作用によってますます運用される。
ホック後の診断は、しばしば、展開中にリスクをフラグする機会を逃す。
表現に基づくプロアクティブオーディエンスであるTRACESを提案する。
論文 参考訳（メタデータ） (2026-05-26T21:11:02Z) - Enhancing Agent Safety Judgment: Controlled Benchmark Rewriting and Analogical Reasoning for Deceptive Out-of-Distribution Scenarios [0.2578242050187029]
ROMEは、既知の安全でないトラジェクトリを偽評価インスタンスに書き換える、制御されたベンチマーク構築パイプラインである。
ARISEは、外部アナログベースからReActスタイルのアナログ安全軌道を抽出し、それらを構造化推論例として注入する検索誘導推論時間拡張である。
論文 参考訳（メタデータ） (2026-05-05T00:21:00Z) - DRAFT: Task Decoupled Latent Reasoning for Agent Safety [59.46137757545185]
DRAFT(Task Decoupled Latent Reasoning for Agent Safety)を提案する。
エクストラクターは、完全な軌跡をコンパクトな連続的な潜伏ドラフトに蒸留し、リゾナーはドラフトと元の軌跡に共同で参加して安全性を予測する。
DRAFTの精度は63.27%(LoRA)から91.18%に向上した。
論文 参考訳（メタデータ） (2026-02-11T07:45:14Z) - RE-TRAC: REcursive TRAjectory Compression for Deep Search Agents [144.5598958575922]
Re-TRACはクロス軌道探索を行うエージェントフレームワークである。
Re-TRAC は BrowseComp とフロンティア LLM で連続して ReAct を 15-20% 上回っていることを示す。
論文 参考訳（メタデータ） (2026-02-02T18:58:07Z) - When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。
LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。
安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
論文 参考訳（メタデータ） (2025-10-24T09:32:25Z) - Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。
既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。
我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
論文 参考訳（メタデータ） (2025-10-10T18:42:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。