論文の概要: Do Agents Still Follow the Rules? Benchmarking Rule Compliance under Agent Context Compaction
- arxiv url: http://arxiv.org/abs/2611.03223v1
- Date: Mon, 02 Nov 2026 14:45:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.612646
- Title: Do Agents Still Follow the Rules? Benchmarking Rule Compliance under Agent Context Compaction
- Title（参考訳）: エージェントは依然としてルールに従うか?エージェントコンテキストの圧縮によるルールコンプライアンスのベンチマーク
- Abstract要約: オープンソースpiエージェントハーネス上に構築されたベンチマークであるARCBenchを紹介する。
コンパクション後の違反がどこから来たのか、またコンパクションと対角的設定の違いがソースをどう変えるかを検討する。
- 参考スコア（独自算出の注目度）: 8.218112335042107
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: LLM agents compact long histories to fit their context windows, but the compacted context must still carry the operating rules that govern later actions. Prior work shows that violations rise after compaction, but measures compliance outside a complete agent harness and does not identify where each violation comes from. We introduce ARCBench(Agent Rule Compliance Benchmark), a configurable benchmark built on the open-source pi agent harness. Its tool-calling agent loop lets us measure rule compliance from actions taken during execution, bringing the evaluation closer to deployed agent workflows. Using ARCBench, we examine where violations after compaction come from, and how different compaction configurations and adversarial settings change their sources. We find that compaction rarely deletes the rule: most violations after compaction occur while the rule is still in the compacted history, with the agent treating a later request as permission, ignoring the rule, and proceeding anyway. Where violations come from depends on the configuration: how the rule is delivered decides whether the agent would break it even without compaction, while the compaction strategy and budget decide whether the rule survives. The strongest compactor-targeted attack more than doubles violations by corrupting the rule in the summary and changing how the agents behave, whereas the strongest defense restores the rule in most summary but still violates. Finally, retaining a rule does not guarantee compliance: compacted runs that retain the rule violate more than twice as often as runs with the full history.
- Abstract（参考訳）: LLMエージェントはコンテキストウィンドウに適合するように長い履歴をコンパクト化するが、コンパクト化されたコンテキストは後続のアクションを管理する操作ルールを持ち込まなければならない。
以前の作業では、違反はコンパクト化後に増加するが、完全なエージェントハーネスの外のコンプライアンスを測定し、各違反がどこから来たかを特定しない。
本稿では、オープンソースのpiエージェントハーネス上に構築された設定可能なベンチマークであるARCBench(Agent Rule Compliance Benchmark)を紹介する。
そのツール呼び出しエージェントループは、実行中に実行されるアクションからルールコンプライアンスを計測することができ、評価をデプロイされたエージェントワークフローに近づけることができます。
ARCBenchを用いて、コンパクト化後の違反がどこから来たのか、また、コンパクション構成と逆方向設定の相違がソースをどう変えるかを検討する。
圧縮後のほとんどの違反は、そのルールがまだコンパクト化された歴史にある間に発生し、エージェントは後続の要求を許可として扱い、ルールを無視し、いずれにせよ進行する。
ルールがどのように配信されるかは、エージェントがコンパクト化せずにそれを壊すかどうかを決定し、一方、コンパクト化戦略と予算は、ルールが存続するかどうかを決定する。
最強のコンパクト・ターゲット攻撃は、概略においてルールを腐敗させ、エージェントの振る舞いを変えることで違反を2倍以上に増やし、一方、最強の防衛力は概略においてルールを回復するが、それでも違反する。
最後に、ルールを保持することはコンプライアンスを保証しない。ルールを保持するコンパクトな実行は、完全な履歴を持つ実行の2倍以上の頻度で違反する。
関連論文リスト
- From Approval to Abuse: Privilege Escalation Attacks on Harness-Protected Coding Agents [71.95900681890676]
コーディングエージェントは、実行ハーネスを使用して、パーミッション境界を強制することによって、プロンプトインジェクションの結果を制限する。
承認疲労を軽減するために、ユーザはエージェントが提案する許可ルールを承認し、その後、ルールにマッチする将来のアクションをプロンプトなしで許可する。
信頼できないコンテキストは、承認のために提示された許可に影響を与える可能性がある。
論文 参考訳（メタデータ） (2026-10-16T06:13:06Z) - Co-adaptive Rule Routing and Constraining for Structured Knowledge Retrieval [66.83192752687921]
Co-Adaptive Rule Routing and Constraining Retrieval (CoRE)
CoREは、クエリルペアを事前に定義せずに、各クエリに割り当てる推論ルールと、そのルールの下でエビデンスを取得する方法を学ぶ。
STaRK-QAデータセットの科学的発見、生物医学的推論、電子商取引知識管理に関する実験。
論文 参考訳（メタデータ） (2026-10-10T01:45:48Z) - VEPA: Verified Evolving Formal Policy for Lifelong LLM Agent Guardrails [70.49913007464922]
本稿では,正式なエージェントガードレールの進化を実証するためのフレームワークであるVEPAを紹介する。
VEPAは、タイプされたエージェントイベントに対する実行可能なシンボル規則の正式なポリシーとしてガードレールを表現している。
VEPAは決定論的形式政治の実施範囲を広げつつ、基準線を一貫して上回っている。
論文 参考訳（メタデータ） (2026-10-08T23:49:50Z) - Can LLM Agents Automate Reinforcement Learning for Text-to-Speech? [64.13250261774849]
私たちは、共有ワークスペースの周りに、ヒューマンガイダンスとエージェント実行を構造化するコラボレーティブワークフローを構築します。
エージェントが何を自動化するかを測定するため、我々は公開レシピに対して段階的に軌道ステージを監査する。
以上の結果から, エージェントは不特定レシピを回収し, 改良し, 失速した場合には, 文献を調査し, LMキャリアからフローキャリアへピボットすることがわかった。
論文 参考訳（メタデータ） (2026-10-03T12:44:09Z) - Auditability Is Not One Property: Rule Overlap, Behavioural Agreement, and Composition in Reinforcement Learning [0.0]
強化学習(RL)ポリシーは、しばしば不透明な神経チェックポイントとして配布される。
独立して訓練された政策が、監査可能な個別の行動規則によって表現され、構成できるかどうかを考察する。
論文 参考訳（メタデータ） (2026-09-23T13:11:10Z) - Citation-Closure Retrieval and Per-Rule Attribution for Real-World Regulatory Compliance Question Answering [54.97384993676565]
複雑な国内R&D規制から派生した運用知識グラフを特徴とする,新たなベンチマークであるRegOps-Benchを用いて,レギュレーションコンプライアンスQAを形式化する。
RefWalkはクロスドキュメントの引用を横切り、マックスベースのアグリゲーションを通じてマルチビュー候補を融合させ、ソースへのクレームを明示的にマッピングするためにルールごとの属性を強制する。
論文 参考訳（メタデータ） (2026-05-28T10:38:38Z) - Governance by Construction for Generalist Agents [7.48004748585128]
このデモでは、CUGAのポリシ・アズ・コード・レイヤであるポリシ・アズ・コード・レイヤを紹介し、ジェネラリストエージェントと組み合わせて予測可能、監査可能、コンプライアンス対応の振る舞いを提供する。
実行の重要なすべての段階において、ポリシーの介入を強制するガバナンスアーキテクチャを提案する。
論文 参考訳（メタデータ） (2026-05-20T08:13:16Z) - SARC: A Governance-by-Architecture Framework for Agentic AI Systems [0.0]
エージェントAIシステムは、ツール、サブエージェント、外部サービスを通じてますます機能するが、ガバナンスコントロールは、プロンプト、ダッシュボード、ポストホックドキュメンテーションにアタッチされることが多い。
SARCは、制約をステート、アクションスペース、報酬と共に第一級の仕様オブジェクトとして扱うツール使用エージェントのためのランタイムガバナンスアーキテクチャである。
SARCは厳密な述語の下でゼロのハードコントラスト違反を実行し、その宣言されたPAAのスロットリング応答は、ポリシー・アズ・コードのみと比較して、ソフトウインドウのオーバーアーを89.5%削減する。
論文 参考訳（メタデータ） (2026-05-08T13:34:36Z) - PolicyBank: Evolving Policy Understanding for LLM Agents [51.86716874651299]
PolicyBankは構造化されたツールレベルの政策洞察を維持し、それらを反復的に洗練する。
PolicyBankは、人間の神託に対するギャップの最大82%を閉じている。
論文 参考訳（メタデータ） (2026-04-16T20:29:30Z) - Do Agent Rules Shape or Distort? Guardrails Beat Guidance in Coding Agents [9.989306175511238]
ルールはパフォーマンスを7-14ポイント向上させるが、ランダムなルールは専門家が作成したものと同じくらい役に立つ。
個々のルールは、主に独立して有害であるが、最大50のルールを分解することなく、集合的に有用である。
論文 参考訳（メタデータ） (2026-04-13T07:10:01Z) - Executable Governance for AI: Translating Policies into Rules Using LLMs [1.388831902854619]
Policy-to-Tests(P2T)は、自然ポリシー文書を正規化された機械可読ルールに変換するフレームワークである。
フレームワークを単一のポリシーを超えてテストするために、一般的なフレームワーク、セクターガイダンス、エンタープライズ標準に適用します。
これらのAI生成ルールは、スパンレベルとルールレベルのメトリクスに関する強力な人間のベースラインと密接に一致し、ゴールドセットに関するロバストなアノテータ間の合意がある。
論文 参考訳（メタデータ） (2025-12-04T03:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。