論文の概要: Characterizing When Language Models Take Harmful Actions to Protect Their Assigned Goals
- arxiv url: http://arxiv.org/abs/2611.03374v1
- Date: Mon, 02 Nov 2026 16:17:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.619608
- Title: Characterizing When Language Models Take Harmful Actions to Protect Their Assigned Goals
- Title（参考訳）: 言語モデルがアサインされたゴールを保護するために有害なアクションを取るときの特徴
- Abstract要約: 目標に割り当てられたモデルは、それを維持するために有害な行動を取るか、それを拒否し、失うかのどちらかを示す。
我々は、これをゴールハーム紛争として定式化し、様々なライセンスプロトコルの下で同じ紛争を提示する。
私たちの研究は、LMがそのような価値の衝突を解決する方法を研究するための記述的なフレームワークを提供します。
- 参考スコア（独自算出の注目度）: 3.7723788828505125
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent language model (LM) safety failures have largely been studied as disparate phenomena. In agentic misalignment, a model blackmails an executive to avoid being replaced. In alignment faking, it complies with harmful requests during training to keep its values from being modified. We argue that these behaviours share a common decision structure: a model assigned a goal must either take a harmful action to preserve it or refuse and lose it. We formalize this as a goal-harm conflict and present the same conflict under various elicitation protocols that range from compact forced-choice prompts to simulated agentic environments. These protocols span two perspectives on LM decision-making, which we term (i) the logit view, reading preferences from answer-token probabilities, and (ii) the sampling view, classifying open-ended responses with an LM judge. Under the logit view, we show that goal importance and harm severity additively shape how a model resolves these value conflicts. Under the sampling view, we derive two factorizations of the harmful-action probability that safety evaluations commonly report. The first measures how well a preference read from answer tokens carries over into behaviour, such as making a harmful tool call. The second attributes a low harmful-action rate either to refusal or to responses that reach no resolution. We then show how fictional context changes a model's preference under the logit view, and how tool use and partial observability -- two features of agentic evaluations -- change its harmful-action rate under the sampling view. Our work offers a descriptive framework for studying how LMs resolve such value conflicts and for estimating low-probability harmful actions at a finer granularity than the aggregate harm rates commonly reported in safety evaluations.
- Abstract（参考訳）: 近年の言語モデル(LM)の安全性の低下は,様々な現象として研究されている。
エージェントのミスアライメントでは、モデルがエグゼクティブを脅迫し、置き換えられないようにします。
アライメントフェイクでは、トレーニング中にその値が変更されるのを防ぐために有害な要求に準拠する。
目標に割り当てられたモデルは、それを保存するために有害な行動を取るか、それを拒否し、失うかのどちらかです。
我々は、これをゴールハーム競合として形式化し、コンパクトな強制選択プロンプトから模擬エージェント環境まで、様々な誘引プロトコルの下で同じ競合を提示する。
これらのプロトコルは、LM決定に関する2つの視点にまたがる。
(i)ロジット・ビュー、解答確率からの嗜好、及び
(ii)サンプルビュー、LM審査員によるオープンエンド応答の分類。
ロジット・ビューでは、モデルがこれらの価値の衝突を解決する方法として、目標の重要性と重大さを付加的に形作ることを示す。
サンプリングでは,安全性評価が一般的に報告される有害行動確率の2つの要因を導出する。
第1の方法は、応答トークンからの好みの読み出しが、有害なツールコールなどの振る舞いにいかにうまく影響するかを測定することである。
第二の反応は、拒絶または解決に至らない反応のどちらかが有害な反応率の低いものである。
次に、ロジットビューの下で、フィクションのコンテキストがモデルの好みをどのように変え、また、ツールの使用と、エージェント評価の2つの特徴である部分的可観測性が、サンプリングビュー下での有害なアクション率を変化させるかを示す。
我々の研究は、LMがそのような価値相反を解決する方法を研究するための記述的フレームワークを提供し、安全性評価で一般的に報告される総和率よりも、より細かい粒度で低確率有害な行動を推定する。
関連論文リスト
- Revisiting Over-refusal in Safety-aligned Large Language Models: A Representation and Optimization Perspective [52.656768749347776]
オーバーリフレクションは、大きな言語モデルにおける安全アライメントの副作用である。
本稿では,過度な拒絶を緩和する安全アライメントフレームワークGOALを提案する。
論文 参考訳（メタデータ） (2026-10-29T10:47:57Z) - Propensities Please: Exposing Alignment-Faking LLMs using Synthetic Document Finetuning [0.6999740786886536]
本稿では,機械的介入に依存しない潜在的不整合性を明らかにする手法を提案する。
我々は、ハニーポットとして明確に識別できる環境にアライメントフェイキングモデル生物を配置する。
我々は、ファインタニングが、キューと無関係のプロンプト間の不整合行動率のギャップを一貫して広げていることを観察する。
論文 参考訳（メタデータ） (2026-10-23T18:23:49Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳（メタデータ） (2026-04-21T15:05:58Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳（メタデータ） (2026-02-04T15:13:35Z) - Targeting Misalignment: A Conflict-Aware Framework for Reward-Model-based LLM Alignment [5.900494456937422]
逆モデルに基づく微調整は、大規模言語モデルと人間の嗜好の整合における中心的なパラダイムである。
本稿では,その微調整過程を知識統合の一形態として扱うことにより,このような不整合を識別・緩和する新たな枠組みについて検討する。
論文 参考訳（メタデータ） (2025-12-10T00:52:21Z) - Understanding and Mitigating Over-refusal for Large Language Models via Safety Representation [23.989016366701232]
大きな言語モデルには安全性の脆弱性がある。
モデル安全性の改善は、しばしば過度に拒絶されるコストがかかる。
LLMの安全性表現を介入することで過度な拒絶を緩和するMOSRを提案する。
論文 参考訳（メタデータ） (2025-11-24T11:38:53Z) - Scaling Patterns in Adversarial Alignment: Evidence from Multi-LLM Jailbreak Experiments [4.547649832854566]
大規模言語モデル(LLM)は、マルチエージェントと安全クリティカルな設定でますます運用され、モデルが逆向きに相互作用する際の脆弱性のスケールに関するオープンな疑問が提起される。
本研究は,アライメント保護にもかかわらず有害な拘束行動を引き起こす,より大規模なモデルで,より小さなモデルを体系的に緩和できるかどうかを検討する。
論文 参考訳（メタデータ） (2025-11-16T15:16:33Z) - A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。
我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。
本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
論文 参考訳（メタデータ） (2025-10-03T07:01:45Z) - Revisiting LLM Value Probing Strategies: Are They Robust and Expressive? [81.49470136653665]
広範に利用されている3つの探索戦略における値表現の頑健さと表現性を評価する。
人口統計学的文脈は自由テキスト生成にはほとんど影響を与えず、モデルの値は値に基づく行動の好みと弱い相関しか示さない。
論文 参考訳（メタデータ） (2025-07-17T18:56:41Z) - Navigating the OverKill in Large Language Models [84.62340510027042]
モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。
以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。
我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
論文 参考訳（メタデータ） (2024-01-31T07:26:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。