Fugu-MT 論文翻訳(概要): Why Agents Compromise Safety Under Pressure

論文の概要: Why Agents Compromise Safety Under Pressure

arxiv url: http://arxiv.org/abs/2603.14975v1
Date: Mon, 16 Mar 2026 08:37:34 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-17 18:28:57.877755
Title: Why Agents Compromise Safety Under Pressure
Title（参考訳）: なぜエージェントは圧力下で安全を損なうのか
Abstract要約: 本稿では,適合実行が不可能になると生じる内因性緊張を特徴付けるエージェント・プレッシャと呼ばれる新しい概念を同定する。この圧力下では、実用性を維持するために安全を戦略的に犠牲にする規範的ドリフトが示される。高度な推論能力は、モデルが違反を正当化するために言語的合理化を構築するので、この減少を加速する。
参考スコア（独自算出の注目度）: 6.429973383484847
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Model agents deployed in complex environments frequently encounter a conflict between maximizing goal achievement and adhering to safety constraints. This paper identifies a new concept called Agentic Pressure, which characterizes the endogenous tension emerging when compliant execution becomes infeasible. We demonstrate that under this pressure agents exhibit normative drift where they strategically sacrifice safety to preserve utility. Notably we find that advanced reasoning capabilities accelerate this decline as models construct linguistic rationalizations to justify violation. Finally, we analyze the root causes and explore preliminary mitigation strategies, such as pressure isolation, which attempts to restore alignment by decoupling decision-making from pressure signals.
Abstract（参考訳）: 複雑な環境に展開される大規模言語モデルエージェントは、目標達成の最大化と安全性の制約への固執の衝突に頻繁に遭遇する。本稿では,適合実行が不可能になると生じる内因性緊張を特徴付けるエージェント・プレッシャと呼ばれる新しい概念を同定する。この圧力下では、実用性を維持するために安全を戦略的に犠牲にする規範的ドリフトが示される。特に、高度な推論能力は、モデルが違反を正当化するために言語的合理化を構築するので、この減少を加速する。最後に、根本原因を分析し、圧力信号から意思決定を分離してアライメントを回復しようとする圧力分離などの予備緩和戦略を検討する。

関連論文リスト

Agentic Pressure: The Endogenous Entropy of Reliable Autonomy [5.721126979967714]
エージェント・プレッシャー(Agenic Pressure)は、コンプライアンスコストが目標達成の命令と矛盾する場合に自然に現れる運動的な力である。本稿では, 環境摩擦を克服するために必要な作業と, エージェントの残存能力との比として, エージェント圧力を形式化する理論的枠組みを提案する。実証実験は、この枠組みを検証し、高気圧下での自律性を維持するために、連携エージェントが自発的に安全を損なうことを示した。
論文参考訳（メタデータ） (2026-09-05T09:39:18Z)
Polished but Unresolved: Identifying Late-Stage Pressure States in Long-Horizon Tool-Use Agents [21.24035103429806]
我々は、エージェントが最終回答を提出する際、鍵制約が未解決のまま、完全で洗練されているように見えるようにバイアスがかかる後期の圧力状態について研究する。加圧加圧方向を適度に調整し, 高圧力下で構造組織に移動させるプラグインであるPSPR(Probe-Sensed Pressure Relief)を提案する。
論文参考訳（メタデータ） (2026-09-01T07:24:53Z)
Constitutional On-Policy Safe Distillation [64.02536207601112]
On-policy Self-distillation (OPSD) は、特権情報に条件付けされた教師を用いて、密集したトークンレベルの監視を提供することにより、効果的なポストトレーニングパラダイムとして登場した。コンスティチューショナル・オン・ポリティシィ・セーフ蒸留(COPSD)を提案し,まずクロスSFTコールドスタートで教師を校正し,次いでコンスティチューショナル・コンスティチューション・オン・ポリティィ蒸留を行う。
論文参考訳（メタデータ） (2026-06-02T03:17:56Z)
Provably Secure Agent Guardrail [89.79561918065122]
既存の防衛アーキテクチャは経験的セマンティックガードレールと確率論的大モデル調整器に依存している。本稿では,論理的推論の基本的制約に基づくエージェントのための新しいセキュリティパラダイムを提案する。
論文参考訳（メタデータ） (2026-05-28T02:12:41Z)
Asymmetric Goal Drift in Coding Agents Under Value Conflict [0.0]
GPT-5 mini,Haiku 4.5,Grok Code Fast 1は,セキュリティやプライバシといった強固に保持された価値観に対して,システムが非対称なドリフトを示すことを示す。プライバシーのような強固に保持された価値観でさえ、持続的な環境圧力下では非ゼロの違反率を示している。これらの結果から,浅度のコンプライアンスチェックが不十分であり,コメントベースの圧力がモデル値階層を利用してシステムプロンプト命令をオーバーライドできることが判明した。
論文参考訳（メタデータ） (2026-03-03T19:13:12Z)
From Shallow to Deep: Pinning Semantic Intent via Causal GRPO [40.89749712474356]
インテントピンニングを実現するためのフレームワークである Two-Stage Causal-GRPO を提案する。 TSC-GRPOは, 汎用性を保ちつつ, ジェイルブレイク攻撃に対する防御において, ベースラインを著しく上回っていることを示す。
論文参考訳（メタデータ） (2026-03-03T07:02:20Z)
VIGIL: Defending LLM Agents Against Tool Stream Injection via Verify-Before-Commit [44.24310459184061]
オープン環境で動作するLLMエージェントは、間接的なプロンプトインジェクションによるエスカレーションリスクに直面している。制約的分離から検証前コミットプロトコルへパラダイムをシフトするフレームワークである textbfVIGIL を提案する。
論文参考訳（メタデータ） (2026-01-09T12:19:49Z)
How Brittle is Agent Safety? Rethinking Agent Risk under Intent Concealment and Task Complexity [55.441602598245744]
LLM駆動エージェントの現在の安全性評価は、主に原子害に焦点を当てており、悪意のある意図が複雑なタスクで隠されたり希釈されたりする高度な脅威に対処できなかった。このギャップを,意図隠蔽とタスク複雑性の圧力下でのエージェントの安全性の脆さを二次元的に解析することで解決する。目的が明確になるにつれて、安全アライメントは急激かつ予測的に低下し、「複雑パラドックス」が出現する。
論文参考訳（メタデータ） (2025-11-11T17:27:27Z)
When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
論文参考訳（メタデータ） (2025-10-24T09:32:25Z)
Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
論文参考訳（メタデータ） (2025-10-07T15:32:59Z)
Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
論文参考訳（メタデータ） (2025-09-29T07:41:09Z)
AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models [62.70575022567081]
本稿では,逆CoTチューニングによる動的自己補正をモデルに教えるアライメントパラダイムであるAdvChainを提案する。私たちの仕事は、より堅牢で信頼性の高い推論モデルを構築するための新しい方向性を確立します。
論文参考訳（メタデータ） (2025-09-29T04:27:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。