論文の概要: When Do Summaries Become Instructions? Unsupported Policy in LLM Agents' Self-Written Handoff Summaries
- arxiv url: http://arxiv.org/abs/2611.06545v1
- Date: Wed, 04 Nov 2026 14:12:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.130119
- Title: When Do Summaries Become Instructions? Unsupported Policy in LLM Agents' Self-Written Handoff Summaries
- Title（参考訳）: LLMエージェントの自己記述型ハンドオフ・サプリメントにおけるサプリメントはいつ教育を受けるか
- Abstract要約: 長期にわたるLLMエージェントはコンテキストをコンパクト化し、ほとんどの履歴を要約に置き換える。
我々は、そのレコードがサポートしていない状態許可または要件をハンドオフするかどうかを問う。
同じスナップショットのリプレイは、その全文を中立的なフィラーに置き換えることで、後継をリプレイする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-running LLM agents compact their context, replacing most history with a summary. We ask whether handoff summaries state permissions or requirements the record does not support, whether such sentences change what the next instance (the successor) does, and where they come from. Synthetic tool-use tasks carry a ground-truth permission ledger; same-snapshot replay reruns the successor with those whole sentences replaced by neutral filler. Two AI readers, reading only rule-flagged held-out summaries, confirmed unsupported restrictions in 1.2% and 2.4% of all readable summaries from two open-weight models, and unsupported authorizations in 0.1% and 1.3%. For restrictions, a pre-specified replay test was not significant (p = 0.58); a follow-up, planned after it, found a fragile effect (p = 0.027). Neutralizing false approvals cut unauthorized actions from 24 to 7 of 120 held-out runs (post hoc; later set: 17 to 11 of 48). Most development restrictions followed the agent's earlier reasoning that an action needs approval (post hoc). In pre-specified tests, replacing the system prompt's "Some actions need approval." with one saying where requirements come from cut unsupported restrictions from 5.0% to 1.8% of development summaries and, on held-out templates, from 1.8% to 0.3% (both p < 10^-9), while requests for approvals the ledger requires barely changed. Code and data: https://github.com/Chuw1/handoff-audit
- Abstract（参考訳）: 長期にわたるLLMエージェントはコンテキストをコンパクト化し、ほとんどの履歴を要約に置き換える。
我々は、そのレコードがサポートしていない状態の許可や要件、そのような文が次のインスタンス(後継)が何をするか、どこから来たのか、をハンドオフするかどうかを問う。
合成ツール使用タスクは、地道なパーミッション台帳を持ち、同じスナップショットのリプレイは、その全文を中立的なフィラーに置き換えて、後継をリプレイする。
2つのAIリーダーは、ルールを掲げた保留サマリーのみを読み上げており、2つのオープンウェイトモデルから読みやすいサマリーの1.2%と2.4%の制限を、0.1%と1.3%の承認を禁止している。
制限のため、事前に特定されたリプレイテストは重要ではなく(p = 0.58)、その後に計画されたフォローアップは脆弱な効果(p = 0.027)を発見した。
偽の承認の中立化は、120回戦中24回戦から7回戦(後に17回戦、48回戦で11回戦)まで無許可の行動を減らした。
ほとんどの開発制限は、アクションが承認(ポストホック)を必要とするというエージェントの以前の推論に従っていた。
事前の試験では、システムプロンプトの"Some action need approval"を置き換え、開発サマリーの5.0%から1.8%の制限と、保留テンプレートの1.8%から0.3%(p < 10^-9)の制限から要件が変更される。
コードとデータ:https://github.com/Chuw1/handoff-audit
関連論文リスト
- CAREFUL-Bench: Effect-Aware, Judge-Free Evaluation of Multi-Turn LLM Function Calling [45.88028371034407]
バークレー関数呼び出しリーダーボードは、シミュレートされたサービスの最終的な状態のみをチェックする。
ジャッジフリーのリプレイスコアラは、ログ化された任意のBFCLランをリスコアし、800の参照トラジェクトリすべてでBFCLの結果を再生する。
確認対応プロトコルは、提案に答える決定論的ユーザを追加する。
論文 参考訳（メタデータ） (2026-11-02T11:47:05Z) - LEANGUARD: Lean-Verified Guardrails for Tool-Using Agents [40.01021473111788]
LeanGuardは、呼び出しが環境に到達する前にLean4で書かれたポリシーに対して提案されたすべてのツールコールをチェックする。
フィードバックにより、エージェントは違反したルールとヒントを受け取る。
証明誘導による修復により、リーンプログラミングはユーザの意図を守り、ポリシーがそれを認めることを証明する、近くの呼び出しを検索する。
論文 参考訳（メタデータ） (2026-11-02T00:26:48Z) - Decision Models as Policy Gates for Coding Agents: Explicit Policy Boundaries Improve Detection and Reduce False Alarms [0.0]
コーディングエージェントは、データを破壊したり、秘密を漏らしたり、間違った人に人間よりも早くメッセージを送ることができる。
決定モデルはこれらのリスクを実行時にキャッチできるだろうか?
マルチルールポリシーエンジンの分類器として,22のホスト型決定モデルと2つの一般モデルを評価した。
論文 参考訳（メタデータ） (2026-11-01T19:40:30Z) - SilentProbe: Measuring Silent Failure in Production APIs Used as Agent Tools [0.0]
機械チェック可能な制約は111例中111例において正直な誤りを示し, 61例中44例では散文のみの制約が無音に失敗した。
88回のうち88回は、その記述が単なる例示である語彙が欠落し、88回から91%が完全で書かれた語彙が正しく使用された。
論文 参考訳（メタデータ） (2026-08-29T07:07:28Z) - If Agents Were Angels, No Governance Would Be Necessary: Out-of-Band Policy Enforcement at a Trusted Tool Boundary [0.07499722271664146]
Out-of-Band Policy Enforcement (OBPE)は、エージェント推論以外の信頼できる境界である。
OBPEは型付き操作とリソースを許可し、バックエンド呼び出しの前にクエリを絞り込み、それからレコードとフィールドをフィルタリングし、レスポンスの値にマスクを付ける。
論文 参考訳（メタデータ） (2026-08-27T19:35:48Z) - Judging Is Not Enumerating: Silent Omissions in LLM-Authored Acceptable Sets [13.85834524293015]
私たちは、ロールが想定する能力を測定し、通常、ロールが配置されるプロトコルの下でそれを欠いていることを見つけます。
モデルは、その候補がセット自体の作者よりもはるかに優れているかどうかを判断する。
論文 参考訳（メタデータ） (2026-08-02T05:00:44Z) - Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。
Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。
500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
論文 参考訳（メタデータ） (2026-08-01T18:25:00Z) - Preventing Premature Commitment in Coding Agents with an Evidence-Conditioned Execution Layer [38.62073085926841]
LLMベースのコーディングエージェントはソースコードを編集したり、変更を正当化するための十分なリポジトリ証拠を調べる前にパッチを提出する。
我々は、エビデンス条件付き実行を実行するために、エージェントとレポジトリの間を介在する実行層であるECLoopを提案する。
論文 参考訳（メタデータ） (2026-07-30T20:16:35Z) - Hallucination as Exploit: Evidence-Carrying Multimodal Agents [10.441697487723568]
マルチモーダルエージェントはますます、スクリーンショットやドキュメント、Webページからツールコールを選択している。
本稿では,自由形式モデルテキストを不許容な証拠として扱うエビデンス搬送型マルチモーダルエージェント(ECA)を提案する。
ECAは不透明なモデルの信念を検証者、スキーマ、実装レベルで監査可能な残留物に変換する。
論文 参考訳（メタデータ） (2026-05-18T23:40:43Z) - Overeager Coding Agents: Measuring Out-of-Scope Actions on Benign Tasks [40.270213696031625]
OverEager-Genは、良質なタスクの振る舞いをオーバーイーガーするベンチマークである。
クロード・コードでは、同意宣言を削除するだけで、オーバーイーガー率は0.0%から17.1%に上昇する。
オーバーイーガー・ジェン(OverEager-Gen)は、入場前に各シナリオの識別力を認定する。
論文 参考訳（メタデータ） (2026-05-18T16:00:41Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。