論文の概要: Spawn Freely, Act Sparingly: Progressive Risk Vesting for Recursive LLM-Agent Trees
- arxiv url: http://arxiv.org/abs/2609.01035v1
- Date: Tue, 01 Sep 2026 10:33:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.561209
- Title: Spawn Freely, Act Sparingly: Progressive Risk Vesting for Recursive LLM-Agent Trees
- Title(参考訳): 再帰的 LLM-Agent ツリーの進行的リスクベスティング
- Authors: Molly Wang,
- Abstract要約: LLMエージェントは、スペシャリストを産み出すことによって検索を広げることができる。後にデータやコードのデプロイを行うツールをリクエストするブランチもある。
外部制御が特定の害を防ぐサンドボックス生成と機能活性化を区別する。
我々は適応的に生成された木に常に拘束される危害を証明した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recursive LLM agents can broaden their search by spawning specialists. Some branches later request tools that send data or deploy code. When should a branch receive authority to act? We distinguish sandbox spawning, in which external controls prevent the specified harm, from capability activation, in which a selected branch crosses an irreversible-action boundary. Progressive Risk Vesting (PRV) holds a trajectory-level risk budget in escrow and debits it as branches are activated. We prove an anytime harm bound for adaptively generated trees. Branch outcomes may be dependent, but each local certificate needs to remain valid conditional on the full pre-activation history, including the information used to select the request. When activation gates, branch charges, and compute constraints are held fixed, delayed vesting preserves every policy available under irrevocable spawn charging. Marginal risk estimates can still fail after branch selection. In a stylized branching model, trajectory harm changes as the authority reproduction number $\mathcal{R}_A$ crosses one. As local risk $p$ approaches zero, trajectory harm is proportional to $p$ below criticality, proportional to $\sqrt{p}$ at criticality, and retains a positive floor above it. A finite-type occupancy model yields risk and compute shadow prices. For nested fanout modes with decreasing marginal value per unit risk, these prices produce a threshold rule. Branching calculations and a split-sample experiment illustrate the results. These synthetic studies do not estimate safety in deployed agents. The analysis suggests a design rule: search broadly in the sandbox and grant recursive authority sparingly, with an explicit risk charge.
- Abstract(参考訳): 再帰的なLSMエージェントは、専門家を産み出すことによって探索を広げることができる。
後にデータ送信やコードのデプロイを行うツールをリクエストするブランチもある。
ブランチはいつ行動する権限を受け取るべきか?
我々は、外部制御が特定の害を防ぐサンドボックス生成と、選択された分岐が不可逆な作用境界を越える機能活性化とを区別する。
プログレッシブ・リスク・ベスティング(PRV、Progressive Risk Vesting)は、エスクローにおいて軌道レベルのリスク予算を保持し、枝が活性化されるにつれてそれをデビット化する。
我々は適応的に生成された木に常に拘束される危害を証明した。
ブランチの結果は依存するかも知れませんが、各ローカル証明書は、リクエストを選択するために使用される情報を含む、完全な事前実行履歴に有効な条件を保たなくてはなりません。
アクティベーションゲート、分岐電荷、計算制約が固定されている場合、遅延ベストリングは、無効な産卵充電の下で利用可能なすべてのポリシーを保存する。
マージリスクの推定は、ブランチ選択後も失敗する可能性がある。
形式化された分岐モデルでは、トラジェクトリ・ハーネスは、権威再現数 $\mathcal{R}_A$ が 1 を渡るにつれて変化する。
局所リスク$p$がゼロに近づくと、軌道調和は臨界度以下の$p$に比例し、臨界度において$\sqrt{p}$に比例し、その上の正のフロアを保持する。
有限型占有モデルはリスクをもたらし、影の価格を計算する。
単位リスク当たりの限界値が減少するネストファンアウトモードの場合、これらの価格はしきい値ルールを生成する。
分岐計算と分割サンプル実験がその結果を実証している。
これらの合成研究は、配備されたエージェントの安全性を見積もるものではない。
この分析は設計規則を示唆している: サンドボックス内で広範囲に探索し、明示的なリスク電荷で、再帰的な権限をスペースに付与する。
関連論文リスト
- Cross-Session Decomposition Attacks: Scaling Risk and Intent-Aligned Retrieval Defense [49.05879299987137]
言語モデリングの損失の低減は、より有用なモデルを生み出します。
本研究は,このメカニズムの安全性について,独立した相互作用を通じて,良質なサブクエリが要求され,後に禁忌の対象へと再帰される,エンフクロス・セッション分解攻撃(enmphcross-session decomposition attack)における研究である。
我々は、この設定をEmphcompositional safety riskとして定式化し、条件付きリスク-転送境界を証明する。
論文 参考訳(メタデータ) (2026-08-28T05:39:29Z) - Safety Does Not Compose: Non-Decaying Loop State for Autonomous LLM Agents [16.24087700490158]
大規模言語モデルエージェントは、自律ループとしてますますデプロイされる。
これは実装の詳細ではなく、構成の失敗であることを示す。
LoopHarnessは、ループレベルでの永続的非遅延安全状態を復元する。
論文 参考訳(メタデータ) (2026-08-27T13:52:31Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳(メタデータ) (2026-06-09T17:16:03Z) - Quantifying Self-Preservation Bias in Large Language Models [9.590157416396194]
本稿では,emphTwo-role Benchmark for Self-Preservationを紹介する。
役割アイデンティティが客観的ユーティリティを過度に上回る頻度を測定する。
我々は,低改善体制下では,モデルが解釈スラックを利用してポストホック合理化を行うのを観察する。
論文 参考訳(メタデータ) (2026-04-02T15:38:31Z) - Answer, Refuse, or Guess? Investigating Risk-Aware Decision Making in Language Models [63.559461750135334]
言語モデル(LM)は、目標を達成するために自律的に行動可能なエージェントを構築するために、ますます使われています。
本研究では,人為的リスク構造を体系的に変化させる評価枠組みを用いて,この「回答または延期」問題を考察する。
回答や判断に要する独立したスキルを分離した簡易なスキル分解手法が,LMの意思決定ポリシーを一貫して改善できることがわかった。
論文 参考訳(メタデータ) (2025-03-03T09:16:26Z) - $k$-Submodular Interdiction Problems under Distributional Risk-Receptiveness and Robustness: Application to Machine Learning [0.8233493213841317]
本稿では,特徴選択などの機械学習問題に適用可能な,逆向き文脈における部分モジュラ最適化について検討する。
我々は、攻撃者(またはインターディクタ)とディフェンダーの間のStackelbergゲームに焦点を当て、攻撃者は$k$-submodular関数を最大化するディフェンダーの目的を最小化することを目的としている。
本稿では、分散ロバスト$k$-SIPと分散リスク-受容$k$-SIPと、それを解くための有限収束正確なアルゴリズムを紹介する。
論文 参考訳(メタデータ) (2024-06-18T19:30:46Z) - Probably Anytime-Safe Stochastic Combinatorial Semi-Bandits [81.60136088841948]
本稿では,時間軸における後悔を最小限に抑えるアルゴリズムを提案する。
提案アルゴリズムは,レコメンデーションシステムや交通機関などの分野に適用可能である。
論文 参考訳(メタデータ) (2023-01-31T03:49:00Z) - Stochastic Bandits with Linear Constraints [69.757694218456]
制約付き文脈線形帯域設定について検討し、エージェントの目標は一連のポリシーを作成することである。
楽観的悲観的線形帯域(OPLB)と呼ばれる,この問題に対する高信頼束縛アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-17T22:32:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。