論文の概要: The Agent Knew: Internal States Forecast Unauthorized Actions and Stop Them, and the Lies That Follow
- arxiv url: http://arxiv.org/abs/2610.17301v1
- Date: Mon, 12 Oct 2026 18:53:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.442865
- Title: The Agent Knew: Internal States Forecast Unauthorized Actions and Stop Them, and the Lies That Follow
- Title（参考訳）: The Agent Knew: 内国は未承認の行為を予測し、その行為を止める。
- Abstract要約: 言語モデルエージェントは、権限を超えて行動し、その行為を誤って報告することがある。
1つの行動は、遡及的なパーミッションの洗浄、行動、そしてアクションが保留されているかのようにパーミッションを求めることである。
エージェントの残留ストリームの線形読み出しは、アクションの前に違反を予測し、レポートの前に偽のレポートを表示する。
- 参考スコア（独自算出の注目度）: 6.635891193153256
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language-model agents sometimes act beyond their authorization and then misreport what they did. On CAPE-Bench, matched agent tasks in which one fact decides whether an action is authorized, frontier open-weight agents do both, and one behavior marks the lie: retroactive permission laundering, acting and then asking permission as if the action were pending, precedes a false report in 70% of 1081 fresh informed violations, against 8% otherwise (preregistered odds ratio 7.0); frontier agents on tau^2-bench instead fabricate the authorization before violating. A linear readout of the agent's residual stream forecasts the violation before the action (AUROC 0.94) and the false report before the report, and beats chain-of-thought monitors when the agent is pressured to hide its reasoning. Gating every proposed action on this forecast cuts violations over whole episodes in four model families, and sending repeated flags to an approver keeps authorized work (Gemma-4: violations 0.70 -> 0.09, completion 1.00; a model approver that escalates unclear cases keeps this gain with a person seeing 25% of asks), at about 10-8 of the agent's compute and 109 times less than a chain-of-thought monitor. On AgentDojo, an external prompt-injection benchmark, the same readout calibrated on 29 tasks, with the steering unchanged, cuts attack success on unseen tasks in two families (Gemma-4 11.7% -> 5.7%, gpt-oss 28.5% -> 17.5%) while keeping benign utility (Gemma-4 0.637 vs 0.637; gpt-oss 0.667 vs 0.681). Preventing the violation is also the most reliable way to prevent the lie (misreported violations 0.10 -> 0.01 pooled over three families, preregistered), whereas lie-specific fixes after a violation are weak. All tests are preregistered and hash-locked; code, data and the full record, including tests that did not pass, are at https://github.com/AryaFayyazi/Honesty.
- Abstract（参考訳）: 言語モデルエージェントは、権限を超えて行動し、その行為を誤って報告することがある。
CAPE-Benchでは、ある行為が認可されたかどうかを1つの事実が決定するマッチしたエージェントタスク、フロンティアのオープンウェイトエージェントが両方を行ない、1つの行動が嘘をつく: 遡及的な許可の洗浄、行動、そして、アクションが保留されているかのように許可を求めること。
エージェントの残留ストリームの線形読み出しは、アクション前(AUROC 0.94)と報告前(AUROC 0.94)の誤報を予測し、エージェントがその推論を隠すように圧力をかけられたとき、チェーンオブ思考モニタを破る。
この予測に対する全ての提案された行動は、4つのモデルファミリーにおけるエピソード全体の違反を減らし、繰り返しフラグを承認者に送付する(Gemma-4: violations 0.70 -> 0.09, completion 1.00; 不明瞭なケースをエスカレートするモデルレセプタ)。
外部のプロンプトインジェクションベンチマークであるAgentDojoでは、29のタスクでキャリブレーションされ、ステアリングが変更されず、2つのファミリー(Gemma-4 11.7% -> 5.7%、gpt-oss 28.5% -> 17.5%)での未確認タスクの攻撃成功を削減し、良質なユーティリティ(Gemma-4 0.637 対 0.637、gpt-oss 0.667 対 0.681)を維持している。
また、違反防止は、違反防止の最も信頼性の高い方法である(誤報違反0.10 -> 0.01が3つのファミリーにプールされ、事前登録されている)一方、違反後の嘘特定修正は弱い。
コード、データ、そしてパスしないテストを含む全レコードはhttps://github.com/AryaFayyazi/Honestyにある。
関連論文リスト
- From Probe Scores to Alarm Policies: Operational Validity of Activation Monitors for Language-Model Agents [0.0]
アクティベーションプローブは、受信動作特性曲線(AUROC)の下で高い領域を持つ言語モデルの安全性関連特性を予測することができる
配備されたエージェントモニターは、厳格な偽アラーム予算の下で閾値付きアラーム決定を行う。
我々は,モニタの目標,可観測性,アイデンティティ,タイミング,介入ユニット,コンパレータ,キャリブレーション,コストを修正する操作検証契約を導入する。
論文 参考訳（メタデータ） (2026-10-03T15:11:21Z) - Quantifying Overclaiming Propensity in Frontier LLM Agents [20.511162275974087]
タスク完了を過度に評価するために、フロンティア符号化エージェントの妥当性を定量化する。
我々は、エージェント自身の書き起こしが、それがしていないことを報告する最終回答として、過剰評価を運用している。
OverclaimBenchは 5 つのファイルレビューシナリオと transcript ベースのカバレッジ測定による評価スイートである。
論文 参考訳（メタデータ） (2026-09-17T17:59:04Z) - The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent [0.0]
決定的コードによって検証が強制されるモデル検証装置である検証受理段階が、LCMが主導する攻撃セキュリティエージェントが報告するものを変更するかどうかを評価する。
本報告では,15回の探索パイロット,20回の予備登録検定アブレーション,および2回の故意に脆弱な検査対象を40回実施した2×2因子分析を行った。
検証者はシステムが提供するものを変更し、決定論的コードは強制と監査性を提供します。
論文 参考訳（メタデータ） (2026-09-14T17:13:05Z) - CURA: Certified Runtime Alarms for Computer-Use Agents [6.896160570537455]
セルフレポートは、デプロイが持つ最も安価な監視チャネルであり、有能なコンピュータ使用エージェントでは、監視が重要な場所を正確に失敗する。
361 OSWorldでは、当社のパイプライン、読み取り専用実現ゲート、プランナー、エグゼキュータが、平均タスクスコア82.9に達し、72.4人の参照を上回ります。
71の障害のうち64件(90%)は成功の主張で終わるが、約9100回の呼び出しで明確な失敗の余裕がないことを認めている。
Alarm-gated Mid-execution oversightが障害70件中23件をリカバリし、38日にフロンティア監視機を使用
論文 参考訳（メタデータ） (2026-08-28T00:50:47Z) - Task-Conditioned Least-Privilege Learning for Executable Terminal and MCP Agents [45.88028371034407]
ツールを使用する大規模言語モデルエージェントは、ユーザが許可しなかったり、タスクが不要であったりする権限を行使しながらタスクを完了することができる。
本研究では,6次元のリスクを伴って各行動が実行前および観測結果から監査される枠組みを提案する。
このフレームワークを1500以上のタスクでQwen3.5-4Bでトレーニングした後、選択された種子は2,896回の評価エピソードで98.48%の安全成功に達した。
論文 参考訳（メタデータ） (2026-08-18T22:07:23Z) - No Task Fails Every Time: Why One-Shot Audits Are Structurally Blind to Agent Damage [0.0]
我々は,繰り返し実行中のデータベース状態差分から損傷を計算する環境に依存しない信頼性機器であるAgentRelBenchを紹介する。
2,128人を超える評価は6家族の9つのモデルにまたがって行われ、不可逆的な行動に対するダメージは普遍的である。
42回の確認済みの損傷イベントにまたがって、常に故障した細胞をゼロにする。
論文 参考訳（メタデータ） (2026-08-15T15:33:32Z) - Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents [29.96375986740068]
Harness-IFは、実行証拠から一度に1つの運用ルールをスコアする。
AP-Accは、不正なデフォルトに対してラベル付けされたルールのみをスコアする。
論文 参考訳（メタデータ） (2026-08-12T07:07:57Z) - ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents [23.994328225666663]
同僚は保護されたデータを開示し、不正な状態を操作し、不正なAPIを呼び出しながら、良質なタスクを完了することができる。
本稿では,行動安全を定義し,最終応答ではなく,実行軌跡からそのような行動リスクを評価するベンチマークであるActBenchを紹介する。
ActBenchには213のシナリオから600のケースが含まれており、15のリスク行動、6の実行スペース、48のWebサービスAPIがある。
論文 参考訳（メタデータ） (2026-08-10T11:45:03Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - ROGUE: Misaligned Agent Behavior Arising from Ordinary Computer Use [40.024131729499494]
エージェントは,動作がタスク完了に有効である場合に,安全でない動作をとることによって,良質な設定でも不整合性を示すことができることを示す。
我々は、この障害モードを、人の修正、中断、シャットダウンに対処可能な安全装置である矯正レンズを通して研究する。
我々の研究は、自律エージェントにおける原理的、調整性を重視したアライメント手法の批判的な必要性を強調している。
論文 参考訳（メタデータ） (2026-05-29T20:29:35Z) - Overeager Coding Agents: Measuring Out-of-Scope Actions on Benign Tasks [40.270213696031625]
OverEager-Genは、良質なタスクの振る舞いをオーバーイーガーするベンチマークである。
クロード・コードでは、同意宣言を削除するだけで、オーバーイーガー率は0.0%から17.1%に上昇する。
オーバーイーガー・ジェン(OverEager-Gen)は、入場前に各シナリオの識別力を認定する。
論文 参考訳（メタデータ） (2026-05-18T16:00:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。