論文の概要: Suppressing Misaligned Behaviors in Language Models, Durably

• arxiv url: http://arxiv.org/abs/2611.05358v1
• Date: Tue, 03 Nov 2026 18:54:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 05:18:53.388047
• Title: Suppressing Misaligned Behaviors in Language Models, Durably
• Title（参考訳）: 言語モデルにおけるミスアライメント行動の抑制
• Abstract要約: 我々は, ポストホック行動抑制法を定式化し, 目標行動の即時抑制, 訓練中の耐久性, 一般能力の維持の3つの基準に沿って評価する。 PEARL(Prefix-Expanded Adversarial Reinforcement Learning)は、キャッシュされた生物軌道に沿ってサンプリングされた中間状態から継続してロールアウトを増強する変種である。
• 参考スコア（独自算出の注目度）: 36.149438161692316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Undesired model behaviors can emerge or re-emerge at any stage of training. Once observed, how effectively can we suppress them? To study this question, we first construct two model organisms--language models deliberately trained to exhibit a specific misalignment--that differ in what triggers the behavior. The narrow-trigger organism misbehaves only when the prompt contains a specific cue: it cheats on multiple-choice questions by following a planted hint that points to a wrong answer, and behaves normally otherwise. The broad-trigger organism has no such cue: after fine-tuning on insecure code, it gives harmful responses across a wide range of open-ended prompts. We then formalize post-hoc behavioral suppression and evaluate methods along three criteria: immediate suppression of the target behavior, durability under further training, and preservation of general capability. We compare standard methods--SFT, GRPO, and gradient-ascent unlearning--along these dimensions. Building on prior work on alignment shallowness, we hypothesize that more durable suppression requires the ability to recover from a wider range of misalignment states. We introduce Prefix-Expanded Adversarial Reinforcement Learning (PEARL), a GRPO variant that augments rollouts with continuations from intermediate states sampled along cached organism trajectories. Across both organism settings and two model families (Qwen3-4B, GPT-OSS-20B), PEARL achieves strong immediate suppression while preserving task accuracy, and remains durable under further fine-tuning on either the organism's data or unrelated data. It obtains the greatest benefit when the undesirable behavior is broad and cannot be addressed through targeted SFT. Together, our framework and method offer a step toward more durable post-hoc removal of undesired behaviors.
• Abstract（参考訳）: 望ましくないモデル行動は、トレーニングのどの段階でも出現または再燃する可能性がある。 一度観察すると、どのように効果的にそれらを抑制することができるのか? この問題を研究するために、我々はまず2つのモデル生物(言語モデル)を構築した。 トリガーの狭い生物は、プロンプトが特定のヒントを含んでいる場合にのみ誤動作する:それは、間違った答えを指し示す、植えられたヒントに従って、複数の選択の質問を不正にし、通常ならば振る舞う。 安全でないコードの微調整の後、幅広いオープンエンドプロンプトに有害な反応を与える。 次に, ホック後の行動抑制を定式化し, 目標行動の即時抑制, 訓練中の耐久性, 一般能力の維持の3つの基準に沿って評価する。 標準手法、-SFT, GRPO, グラデーション・アセント・アンラーニングを比較した。 アライメント浅度に関する先行研究に基づいて、より耐久性の高い抑制には、より広い範囲の不整合状態から回復する能力が必要であるという仮説を立てる。 PEARL(Prefix-Expanded Adversarial Reinforcement Learning)は、キャッシュされた生物軌道に沿ってサンプリングされた中間状態から継続してロールアウトを増強するGRPO変異体である。 生物設定と2つのモデルファミリー(Qwen3-4B, GPT-OSS-20B)にわたって、PEARLはタスクの精度を維持しながら強い即時抑制を達成し、生物のデータまたは非関連データのさらなる微調整の下では耐え難いままである。 望ましくない動作が広く、ターゲットSFTで対処できない場合、最大の利益が得られる。 我々のフレームワークと手法は共に、望ましくない行動のより耐久性の高いポストホック除去に向けた一歩となる。

関連論文リスト

• Silent Collapse in Recursive Learning Systems [24.578102943388256]
  トラジェクトリ統計をモニタし、遅い時間スケールの信頼変数を推定する軽量なメタ認知ループを提案する。 MTRは早期警告を提供し、実際のデータにアクセスすることなくサイレント崩壊を積極的に防止する。
  論文  参考訳（メタデータ） (2026-05-14T08:59:26Z)
• Sleeper Cell: Injecting Latent Malice Temporal Backdoors into Tool-Using LLMs [0.0]
  オープンウェイト大規模言語モデル(LLM)はエージェントAIを民主化しているが、微調整されたウェイトは頻繁に共有され、リーダーボードのパフォーマンスを超えた限られた精査で採用されている。 これにより、サードパーティモデルが強力な行動保証なしで組み込まれるリスクが生じる。 有毒なモデルでは、良質なタスクに対して最先端のパフォーマンスを維持し、採用にインセンティブを与えていることを示す。
  論文  参考訳（メタデータ） (2026-03-02T22:01:08Z)
• Character as a Latent Variable in Large Language Models: A Mechanistic Account of Emergent Misalignment and Conditional Safety Failures [70.48661957773449]
  創発的ミスアライメント(英: Emergent Misalignment)とは、狭い範囲のデータに対する微調整された大きな言語モデルによって、広範囲に不整合な振る舞いが引き起こされる障害モードを指す。 複数のドメインやモデルファミリにまたがって、特定の文字レベルの配置を示すデータの微調整モデルは、誤操作よりもはるかに強く、転送可能な微調整を誘導する。
  論文  参考訳（メタデータ） (2026-01-30T15:28:42Z)
• Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails [103.05296856071931]
  本稿では,自己進化型大規模言語モデル(LLM)エージェントに特有の,アライメント・ティッピング・プロセス(ATP)を同定する。 ATPは、連続的な相互作用によってエージェントが訓練中に確立されたアライメント制約を放棄し、強化された自己関心の戦略を支持するときに生じる。 実験の結果、アライメントの利点は自己進化の下で急速に低下し、最初は整合性のない状態に収束したモデルであることが判明した。
  論文  参考訳（メタデータ） (2025-10-06T14:48:39Z)
• Beyond I'm Sorry, I Can't: Dissecting Large Language Model Refusal [40.3000670795883]
  有害なプロンプトの拒絶は、命令調整型大規模言語モデル(LLM)における重要な安全行動である 残留ストリームアクティベーションを訓練したスパースオートエンコーダ(SAE)を用いて、Gemma-2-2B-ITとLLaMA-3.1-8B-ITの2つの公開命令チューニングモデルについて検討した。 有害なプロンプトが与えられた場合、私たちはSAE潜伏空間を探索し、アブレーションがモデルを拒絶からコンプライアンスに反転させ、因果的影響を示し、ジェイルブレイクを発生させる特徴セットを探索する。
  論文  参考訳（メタデータ） (2025-09-07T02:29:07Z)
• LoGU: Long-form Generation with Uncertainty Expressions [49.76417603761989]
  不確実性を伴う長文生成(LoGU)の課題について紹介する。 不確実性抑制と不確実性誤認の2つの主要な課題を特定します。 当社のフレームワークでは,原子的クレームに基づく不確実性を改善するため,分割・分散戦略を採用している。 提案手法が精度を向上し,幻覚を低減し,応答の包括性を維持できることを示す。
  論文  参考訳（メタデータ） (2024-10-18T09:15:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。