論文の概要: Decision Models as Policy Gates for Coding Agents: Explicit Policy Boundaries Improve Detection and Reduce False Alarms
- arxiv url: http://arxiv.org/abs/2611.02155v1
- Date: Sun, 01 Nov 2026 19:40:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.535199
- Title: Decision Models as Policy Gates for Coding Agents: Explicit Policy Boundaries Improve Detection and Reduce False Alarms
- Title(参考訳): コーディングエージェントのポリシーゲートとしての意思決定モデル: 明示的なポリシー境界は偽アラームの検出と削減を改善する
- Abstract要約: コーディングエージェントは、データを破壊したり、秘密を漏らしたり、間違った人に人間よりも早くメッセージを送ることができる。
決定モデルはこれらのリスクを実行時にキャッチできるだろうか?
マルチルールポリシーエンジンの分類器として,22のホスト型決定モデルと2つの一般モデルを評価した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents can destroy data, leak secrets and message the wrong person faster than a human can review. Could a decision model catch these risks at runtime? We evaluated 22 hosted decision models and two prompted general models as classifiers for a multi-rule policy engine. A synthetic dataset of 2,643 tool calls was labeled blind against 28 rules, with a sealed holdout. With a single shared preamble in both conditions, explicit boundaries written as examples and counterexamples raised recall by 5.5-26.1 percentage points on all 23 available models and reduced false positives on 21. Jev 1.14's recall rose from 89.3% to 98.2%, while unnecessary interruptions fell from 30.6% to 4.8% of 252 clean actions. With examples, its median latency was 120 ms at $0.46 per thousand requests. Strong models retained the recall gains when concrete names were replaced by generic descriptions; three largely retained them when the same boundaries were written as prose. On 16 new scenarios written after the initial studies, a follow-up improved recall on 22 of 23 models and reduced unnecessary interruptions on 21. We release the dataset, rule texts and harness.
- Abstract(参考訳): コーディングエージェントは、データを破壊したり、秘密を漏らしたり、間違った人に人間よりも早くメッセージを送ることができる。
決定モデルはこれらのリスクを実行時にキャッチできるだろうか?
ホスト型決定モデル22と一般モデル2を多ルールポリシーエンジンの分類器として評価した。
ツールコール2,643の合成データセットは、28のルールに対して盲目的にラベル付けされ、ホールドアウトが封印された。
両方の条件で共有される単一のプリアンブルにより、例や反例として記述された明示的な境界は、23種類のモデルで5.5~26.1ポイント、21では偽陽性を減らした。
Jev 1.14のリコールは89.3%から98.2%に増加し、不必要な割り込みは30.6%から252のクリーンアクションの4.8%に減少した。
例えば、中央のレイテンシは120ミリ秒で、1000リクエストあたり0.46ドルだった。
厳密なモデルは、具体的な名前が汎用的な記述に置き換えられた時にリコールゲインを保持し、同じ境界が散文として書かれたときに3つがほとんど保持した。
最初の研究後に書かれた16のシナリオでは、23モデル中22モデルのリコールを改善し、21の不要な中断を減らした。
データセット、ルールテキスト、ハーネスをリリースします。
関連論文リスト
- MCP Tool Poisoning in Agentic AI Frameworks: A Cross-Framework Measurement Study [0.916708284510944]
Model Context Protocol (MCP)は、エージェントAIフレームワークが言語モデルを外部ツールプロバイダに接続することを可能にする。
以前のベンチマークでは、実際の実行を確認することなく、有毒な命令によるモデルコンプライアンスを測定していた。
実ツール実行によるMPPツール中毒のクロスフレームな測定を行った。
論文 参考訳(メタデータ) (2026-11-02T18:17:08Z) - The Right Memory in the Wrong Context: Verifying Retrieval Admissibility in Long-Term Agent Memory [5.138725534209034]
長期記憶エージェントは、他のプリンシパルに属し、ポリシーに違反したり、ライフサイクル状態を反映したりするため、現在の要求に対して許容できない情報を検索することができる。
本稿では,各メモリクエリ対に3つの状態(許容,不許容,未解決)の1つを割り当てる検索許容検証フレームワークを提案する。
論文 参考訳(メタデータ) (2026-10-05T19:47:43Z) - Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。
オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
論文 参考訳(メタデータ) (2026-10-01T05:57:14Z) - Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。
これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。
そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
論文 参考訳(メタデータ) (2026-09-23T17:54:01Z) - ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳(メタデータ) (2026-09-15T04:59:03Z) - SkillAtlas: An Attack Trace Library for Agent Skills [67.18648151130607]
我々は、プライベートエージェントスキルセキュリティレポートバンドルをレビュー、修正、検索可能なパブリックケースに変換する、ホストされた攻撃トレースライブラリであるSkillAtlasを紹介する。
図書館には3,014のケース、6,589のトレース、151,131のステップ、233の影響を受けたスキル、8のリスクカテゴリが含まれている。
論文 参考訳(メタデータ) (2026-09-11T16:44:39Z) - Useless but Safe? Benchmarking Utility Recovery with User Intent Clarification in Multi-Turn Conversations [32.23729177914094]
我々は,LCMがユーザ意図の解釈を改訂し,有用性を回復できるかどうかを計測する初の対話型ベンチマークであるCarryOnBenchを紹介する。
ユーザ追跡シーケンスの異なる5,970の会話をシミュレートし,意図整合性と安全性の両面で14のモデルを評価する。
CarryOnBenchは、4-12ターンで1,866の異なる会話フローを生成し、合計で23,880のモデル応答を生成する。
論文 参考訳(メタデータ) (2026-04-29T18:37:18Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳(メタデータ) (2026-04-09T10:26:32Z) - Collective Recourse for Generative Urban Visualizations [0.0]
モデルや計画の修正をトリガーする,構造化されたコミュニティ“視覚的バグレポート”を提案する。
拡散スタック内に4つのリコースプリミティブ(反プロンプト、負のプロンプト、データセット編集、報酬モデル修正)を配置する。
論文 参考訳(メタデータ) (2025-09-15T00:39:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。