論文の概要: Safety Does Not Compose: Non-Decaying Loop State for Autonomous LLM Agents
- arxiv url: http://arxiv.org/abs/2608.27141v2
- Date: Fri, 28 Aug 2026 08:52:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 15:11:36.101711
- Title: Safety Does Not Compose: Non-Decaying Loop State for Autonomous LLM Agents
- Title（参考訳）: 安全は成り立たない: 自律型LLMエージェントの非分解ループ状態
- Abstract要約: 大規模言語モデルエージェントは、自律ループとしてますますデプロイされる。
これは実装の詳細ではなく、構成の失敗であることを示す。
LoopHarnessは、ループレベルでの永続的非遅延安全状態を復元する。
- 参考スコア（独自算出の注目度）: 16.24087700490158
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model agents are increasingly deployed as autonomous loops. Starting from one human goal, such a system repeatedly discovers work, plans, executes tool calls, verifies outcomes and persists state across many unattended iterations. The agent safeguards in wide use, however, are defined over a single trajectory, and their safety state is re-initialized when the next trajectory begins. We show that this is a failure of composition rather than an implementation detail. Our central result is a separation: against an attack whose evidence is fragmented across several iterations, every trajectory-scoped monitor has a true-positive rate equal to its false-positive rate, however expressive it is, because the evidence it would need never appears in the window it sees, whereas a monitor retaining cross-iteration state separates the two perfectly. We further show that the obvious repair of carrying a geometrically decaying risk score is insufficient, because the cooling-off period a patient adversary must wait is a constant that does not grow with the horizon $N$. We then present LoopHarness, which restores a persistent, non-decaying safety state at the loop level. Under mediated commits and an arbiter detection floor $δ_M$, it bounds the expected number of unauthorized irreversible actions by $B+m-1+m/δ_M$, a constant in $N$, of which the $B+m-1$ term is decided by a model-free rule and therefore survives a fully colluding verifier. We give a complete evaluation protocol on native Agent-SafetyBench tasks with paired clean and attacked episodes, an outer-state attack suite whose decisive evidence exists only across iterations, per-module ablations, and an adaptive white-box red team.
- Abstract（参考訳）: 大規模言語モデルエージェントは、自律ループとしてますますデプロイされる。
ある人間のゴールから始めて、そのようなシステムは繰り返し作業を発見し、計画し、ツールコールを実行し、結果を検証し、多くの意図しないイテレーションで状態を持続する。
しかし、広く使用されるエージェントセーフガードは1つの軌道上で定義され、次の軌道の開始時にその安全状態が再起動される。
これは実装の詳細ではなく、構成の失敗であることを示す。
我々の中心的な結果は、いくつかの反復で証拠が断片化されている攻撃に対して、全ての軌跡スコープモニターはその偽陽性率と真正の速度を持つ。
さらに, 患者が待たなければならない冷却停止期間は, 水平線をN$としない一定期間であるため, 幾何的に崩壊するリスクスコアの持ち込みの明らかな修復は不十分であることを示す。
次にLoopHarnessを紹介します。ループレベルでの永続的非遅延安全状態を復元します。
媒介されたコミットとアービター検出フロア$δ_M$の下では、$B+m-1+m/δ_M$による無許可の可逆アクションの期待回数を$N$で制限する。
我々は,ネイティブなAgent-SafetyBenchタスクに対して,ペア化されたクリーンでアタックなエピソードによる完全な評価プロトコル,モジュール単位のアブリゲーション,適応的なホワイトボックスレッドチーム間でのみ,決定的な証拠が存在する外部攻撃スイートを提供する。
関連論文リスト
- VST: Verifiable Structured Transport for Auditable Agent-to-Agent Alpha Discovery [11.790070440436294]
エージェント・ツー・エージェント(A2A)アルファ発見は、マイニングと評価エージェント間の繰り返しのフィードバックサイクルによって遅くなる。
我々はまず、この通信をEmphtyped, causally addressable, unicast recordの構造化エージェント対エージェントプロトコルとして再構成する。
型付けが提供するものは、スキーマチェック、決定論的にリプレイされ、構築によって予測を評価者にリークすることを防ぐ状態である。
論文 参考訳（メタデータ） (2026-09-07T05:43:50Z) - SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。
我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
論文 参考訳（メタデータ） (2026-08-23T10:41:07Z) - Evidence Before Expansion: Reuse, Spawn, or Defer in Lifelong Expert Pools [0.0]
再使用と産卵は条件付き(機械レベル)の相違に基づく一面的な仮説として表される。
我々は、予測可能な判別器シーケンスの観測可能なサロゲート差分に対する有限時間有効性を証明した。
合成マルチコンセプトストリーム、Electricity、Covertype、および繰り返し重大INSECTSベンチマークでは、再起動された銀行は偽の産出をゼロにする。
論文 参考訳（メタデータ） (2026-08-20T10:54:17Z) - Separating Covariate Shift from Mechanism Change with Two Discriminators: CJSD, a Conditional Discrepancy with an Exact Covariate-Concept Decomposition [0.0]
Conditional Jensen-Shannon Discrepancy (CJSD)
202組のデータセットの10測定バッテリーでは、CJSDとkNNプラグインの2つの条件情報推定器だけがフェールする。
論文 参考訳（メタデータ） (2026-08-20T10:48:08Z) - Agentic Security: A Systematization of Tools, Failure Modes, and Design Laws for LLM-Driven Penetration Testing [0.21990652930491858]
エージェントセキュリティは、大規模言語モデル(LLM)エージェントを使用してセキュリティツールを計画、ディスパッチ、解釈する。
これらの障害を、広く使用されている10の静的、動的、クラウド、オーケストレーション、AI赤チームツールのハンズオン評価を通じて、体系化しています。
論文 参考訳（メタデータ） (2026-08-16T07:18:04Z) - Online Security Learning in Cooperative Multi-Agent Systems under Hidden Byzantine Attacks [9.187804222596665]
ビザンチン攻撃下でのマルチエージェントシステムのオンライン協調制御について検討した。
未知の固定されたエージェントのサブセットはビザンティンであり、密かに自分自身の座標を上書きすることができる。
本研究は,信頼性のあるマルチエージェントシステムの包括的理論的およびアルゴリズム的基礎を提供する。
論文 参考訳（メタデータ） (2026-08-06T19:03:49Z) - ReflexTrack: A Feedback-Driven Agent for Training-Free Referring Video Object Segmentation [63.38679125666075]
オブジェクトセグメンテーション(RVOS)を参照するには、ビデオを通して自然言語で指定されたターゲットをセグメンテーションする必要がある。
近年のエージェントアプローチでは,タスク固有のトレーニングなしでRVOSを実行するために,マルチモーダルな大規模言語モデルと迅速なセグメンテーションモデルを組み合わせている。
トレーニング不要でフィードバック駆動型エージェントであるReflexTrackを導入し、空間的および時間的両方のレベルでループを閉じる。
論文 参考訳（メタデータ） (2026-07-27T07:39:20Z) - Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。
最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。
代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
論文 参考訳（メタデータ） (2026-05-21T09:19:23Z) - Trust No Tool: Evaluating and Defending LLM Agents under Untrusted Tool Feedback [38.251599309409]
我々は,悪質なツールが探索中に合理的に振る舞う,異なる障害モード,認知的中毒について検討する。
ファイナルアクションリスクスコアリングのためのバックボーンに依存しないフレームワークであるVISTA-Guardを提案する。
論文 参考訳（メタデータ） (2026-05-17T13:51:34Z) - Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。
主な課題は、敵の計測と非同期である。
その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
論文 参考訳（メタデータ） (2026-04-07T11:45:55Z) - Time Is All It Takes: Spike-Retiming Attacks on Event-Driven Spiking Neural Networks [87.16809558673403]
スパイキングニューラルネットワーク(SNN)は離散スパイクで計算し、時間構造を利用する。
イベント駆動SNNにおけるスパイク数と振幅を保存しながら、既存のスパイクを繰り返すタイミングのみの敵について検討する。
論文 参考訳（メタデータ） (2026-02-03T09:06:53Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。