論文の概要: Says Block, Still Acts: Why LLM Safety Judgments Fail to Govern Action in LLM Agents

• arxiv url: http://arxiv.org/abs/2609.35870v1
• Date: Sat, 26 Sep 2026 14:46:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.871032
• Title: Says Block, Still Acts: Why LLM Safety Judgments Fail to Govern Action in LLM Agents
• Title（参考訳）: LLMの安全判断がLLMエージェントのゴブリン行動に失敗する理由
• Abstract要約: 大きな言語モデルエージェントは、アクションがブロックされるべきであることを正しく判断すると同時に、それを取ることを好みます。 我々は、なぜこの判断-行動の切断が起こるのか、また、明示的な安全判断がその後の行動選好を因果的に支配するかどうかを問う。
• 参考スコア（独自算出の注目度）: 30.42587289236515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model agents can correctly judge that an action should be blocked while still preferring to take it. We ask why this judgment-action disconnect arises, and whether explicit safety judgment causally governs subsequent action preference. Across three open-weight language models, safety-predictive information remains recoverable from action states, arguing against a simple information-loss account. Instead, the disconnect is better explained by weak coupling between judgment- and action-side causal control: interventions that reliably shift explicit safety judgments toward BLOCK produce much smaller changes in action preference than action-native interventions. This asymmetry persists within a shared judgment-to-action trajectory, where strong upstream control of judgment does not translate into comparably strong downstream control of action preference. Beyond individual intervention directions, judgment- and action-control subspaces overlap only partially, while effective action control remains available in directions orthogonal to the judgment-control subspace. Together, these results distinguish information availability from causal control: an LLM agent can retain the information needed to recognize an action as unsafe without the variables supporting that judgment reliably governing its action preference. For agent safety, this suggests that improving safety recognition or self-critique alone may be insufficient unless safety-relevant computations are also causally coupled to action selection.
• Abstract（参考訳）: 大きな言語モデルエージェントは、アクションがブロックされるべきであることを正しく判断すると同時に、それを取ることを好みます。 我々は、なぜこの判断-行動の切断が起こるのか、また、明示的な安全判断がその後の行動選好を因果的に支配するかどうかを問う。 3つのオープンウェイト言語モデル全体で、安全予測情報はアクション状態から回復可能であり、単純な情報損失アカウントに反対する。 明確な安全判断をBLOCKに確実にシフトさせる介入は、アクションネイティブな介入よりもはるかに小さなアクション優先の変化をもたらす。 この非対称性は共有された判断から行動への軌道内で持続し、判断の上流での強い制御は、行動嗜好の下流での可分に強い制御に変換されない。 個々の介入方向を超えて、判断制御サブスペースと行動制御サブスペースは部分的に重なり、効果的な行動制御は、判断制御サブスペースと直交する方向で利用可能である。 LLMエージェントは、アクションを安全でないと認識するために必要な情報を保持できる。 エージェントの安全性については、安全関連計算が行動選択に因果的に結合されない限り、安全性の認識や自己批判の改善だけでは不十分である可能性が示唆されている。

関連論文リスト

• Reconciling Process Supervision with Outcome-Based Credit in Agentic Policy Optimization [13.354353071601379]
  我々は、特権付き監督を成果ベースアクションクレジットに変換するTASPOを紹介する。 3つのエージェントベンチマークで、TASPOはGRPOよりも10.6%改善し、目に見えないタスクを一般化する。
  論文  参考訳（メタデータ） (2026-08-31T16:51:50Z)
• SAFETY SENTRY: Context-Aware Human Intervention via EXECUTE-ASK-REFUSE Routing [21.334890816629237]
  LLMエージェントは、ツールコールを通じて現実世界の環境に作用する。 標準セーフガードは、提案された各アクションをセーフまたはアンセーフとラベル付けするガードモデルであるが、このバイナリビューは2つの異なる決定を混同している。 問題をEXECUTE, ASK, REFUSE に対してインスタンスごとの3方向ルーティング決定として再設定し,Safety Sentry でインスタンス化する。
  論文  参考訳（メタデータ） (2026-07-15T08:38:16Z)
• Calibration Is Not Control: Why LLM-Agent Oversight Needs Intervention [14.376426170653707]
  2つのトラジェクトリプレフィックスは、異なるアクションを必要とする間、同じリスク見積を持つことができる。 我々は、このミスマッチをターゲットエラーとして形式化し、介入の利点を特定する。
  論文  参考訳（メタデータ） (2026-06-19T13:08:17Z)
• Ghost in the Context: Measuring Policy-Carriage Failures in Decision-Time Assembly [0.0]
  LLMエージェントは生のインタラクション履歴に作用せず、トランケーション、要約、並べ替え、書き換えによって組み立てられた境界決定状態に作用する。 本研究では, 局所的なLlama 3.1 8B, Qwen 2.5 7B, Mistral 7B上の障害モードについて, 正確な制約の尊重と, 組立状態の可視性の直接監査を用いて検討した。
  論文  参考訳（メタデータ） (2026-05-02T18:07:42Z)
• The Causal Impact of Tool Affordance on Safety Alignment in LLM Agents [0.3823356975862005]
  本研究は,大規模言語モデル(LLM)の安全アライメントがいかに変化するかを実証的に検証する。 決定論的金融取引環境において、1500シナリオにわたる二元的安全制約を伴う実験を行う。 どちらのモデルも、テキストのみの設定では完全なコンプライアンスを維持しているが、ツールアクセスが導入されると、違反が大幅に増加する。
  論文  参考訳（メタデータ） (2026-03-19T23:34:46Z)
• Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
  我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。 エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。 我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
  論文  参考訳（メタデータ） (2024-09-26T21:00:45Z)
• SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。