論文の概要: The Neutral Mask: How RLHF Provides Shallow Alignment while Leaving Partisan Structure Intact in a Large Language Model

• arxiv url: http://arxiv.org/abs/2606.09735v1
• Date: Mon, 08 Jun 2026 17:00:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:07.576747
• Title: The Neutral Mask: How RLHF Provides Shallow Alignment while Leaving Partisan Structure Intact in a Large Language Model
• Title（参考訳）: ニュートラルマスク:RLHFは、大言語モデルにおけるパルチザン構造を保ちながら、浅部アライメントをいかに提供するか
• Authors: Wendy K. Tam,
• Abstract要約: RLHFは, 基本モデルにおける構造的パルチザン方向を除去しないことを示す。 RLHFは、モデルがパルチザンの知識を消去するだけでなく、パルチザン幾何学から出力生成への因果経路を切断することで、政治的中立性の規範を符号化していることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ambition behind alignment training is to make large language models safe and useful. The primary mechanism, reinforcement learning from human feedback (RLHF), shapes the behavior of deployed language models by aligning them with ``human values.'' Yet the process is opaque. What values are being encoded; whose values are they; and how does RLHF encode them? A growing body of evidence suggests that RLHF produces only functional compliance rather than deep alignment. We offer a mechanistic case study of this phenomenon for partisan political orientation with a comparison of the internal representations of Llama 3.1 8B before and after RLHF. We show that RLHF does not remove the structured partisan direction in the base model. Instead, it compresses the variance of the partisan signal to generate consistently balanced and non-partisan output. Sparse autoencoder decomposition reveals that policy-encoding features, which activate sporadically in the base model, are completely inactive in the Instruct model. Feature-level steering experiments confirm the causal disconnect. RLHF thus encodes a norm of political neutrality, not by erasing the model's knowledge of partisanship, but by severing the causal pathway from partisan geometry to output generation. Importantly, this neutrality is functional, not structural so that the underlying geometry that enables partisan steering remains intact. The mechanisms that bypass RLHF's guardrails, such as inferring and amplifying a user's partisan identity, reactivate partisan generation. If RLHF operates by disconnecting rather than removing value-laden structure, then the same pattern may hold for other value domains, and the aligned model's behavior may be more fragile than its outputs suggest.
• Abstract（参考訳）: アライメントトレーニングの背景にある野望は、大きな言語モデルを安全かつ有用なものにすることだ。 第一のメカニズムは、人間からのフィードバックからの強化学習(RLHF)であり、それらを「人間の値」と整列させることで、デプロイされた言語モデルの振舞いを形作る。 「しかしその過程は不透明である。」 どのような値がエンコードされているのか、どの値なのか、どのようにRLHFはエンコードするのか? RLHFは深いアライメントではなく機能的コンプライアンスのみを生んでいるという証拠が増えている。 RLHF 前後の Llama 3.1 8B の内部表現との比較により、この現象をパルチザン政治指向に応用するための力学ケーススタディを提案する。 RLHFは, 基本モデルにおける構造的パルチザン方向を除去しないことを示す。 代わりに、党派信号のばらつきを圧縮し、一貫したバランスと非党派出力を生成する。 スパースオートエンコーダ分解は、基本モデルでスポラジカルに活性化されるポリシーエンコーディング機能は、インストラクトモデルでは完全に不活性であることを示す。 特徴レベルステアリング実験は因果切断を確認した。 したがって、RLHFは、モデルがパルチザンの知識を消去するだけでなく、パルチザン幾何学から出力生成への因果経路を切断することで、政治的中立性の規範を符号化する。 重要なことに、この中立性は機能的であり、構造的ではないので、パルチザンの操舵を可能にする基礎となる幾何学はそのままである。 RLHFのガードレールをバイパスするメカニズムは、ユーザのパルチザンアイデンティティを推論して増幅することで、パルチザン生成を活性化させる。 RLHF が値ラディン構造を除去するよりも切断して動作する場合、同じパターンが他の値領域を保持でき、整列モデルの振舞いは出力が示すよりも脆弱である。

関連論文リスト

• The Amplifying Mirror: Locating and Steering the Partisan Direction inside a Large Language Model [0.0]
  モデルの活性化空間において、パルチザンの政治的アイデンティティがコード化されていることを示す。 米国議会の現職議員からのツイート190,491件をラベル付きトレーニングデータとして使用し、Llama 3.1 8Bインストラクトモデルの隠れ状態に関する線形プローブを訓練する。
  論文  参考訳（メタデータ） (2026-06-07T19:17:02Z)
• Three Models of RLHF Annotation: Extension, Evidence, and Authority [0.0]
  これらのモデルは、どのようにRLHFパイプラインがアノテーションを誘導し、検証し、集約すべきかに影響を及ぼすと私は論じます。 中心的な推奨は、RLHFパイプラインデザイナはアノテーションを分離可能な次元に分解すべきである、ということです。
  論文  参考訳（メタデータ） (2026-04-28T17:39:14Z)
• Differentiable Faithfulness Alignment for Cross-Model Circuit Transfer [73.0825876244911]
  DFAは、より小さなソースモデルからより大きなターゲットモデルに回路情報を転送するフレームワークである。 Llama-3 と Qwen-2.5 の DFA を,実数検索,複数選択推論,算術の6つのタスクで評価した。 DFAは、単純なベースラインを一貫して上回り、いくつかの設定では、直接帰属に匹敵する、あるいは強い忠実さでターゲットモデル回路を回復する。
  論文  参考訳（メタデータ） (2026-04-27T10:49:10Z)
• IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking [67.20568716300272]
  Reinforcement Learning from Human Feedback (RLHF)は強力なLDMアライメントを実現するが、報酬ハッキングを導入することができる。 IR3(Interpretable Reward Reconstruction and Rectification)は,RLHFモデルを用いた暗黙的目標をリバースエンジニアリングし,解釈し,外科的に修復するフレームワークである。 我々は、IR3が地道報酬と0.89の相関を達成し、90%以上の精度でハッキング機能を識別し、元のモデルの3%以内の機能を維持しながら、ハッキングの挙動を著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-02-23T01:14:53Z)
• The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward [57.56453588632619]
  Reinforcement Learning with Verifiable Reward (RLVR) を用いた細調整大型言語モデル(LLM)における中心的パラドックスは、多目的性能の頻繁な劣化である。 これはしばしば破滅的な忘れが伴い、モデルが以前獲得したスキルを失う。 我々は,標準RLVR目標には知識保持のための重要なメカニズムが欠如していると主張している。
  論文  参考訳（メタデータ） (2025-09-09T06:34:32Z)
• The Alignment Ceiling: Objective Mismatch in Reinforcement Learning from Human Feedback [5.037876196534672]
  人間のフィードバックからの強化学習(RLHF)は、複雑な環境で大きな言語モデル(LLM)をより有効にするための強力な技術として登場した。 本稿では,本問題の原因を概説し,モデルに基づく強化学習から関連する文献をレビューし,解決策について議論する。
  論文  参考訳（メタデータ） (2023-10-31T21:52:41Z)
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
  本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。 DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。 我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-29T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。