論文の概要: Direct Hidden-State Alignment: Mapping and Controlling Preference Expression in LLMs

• arxiv url: http://arxiv.org/abs/2609.33298v1
• Date: Sun, 27 Sep 2026 07:04:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 01:20:59.252558
• Title: Direct Hidden-State Alignment: Mapping and Controlling Preference Expression in LLMs
• Title（参考訳）: 直隠れ状態アライメント:LLMにおける参照表現のマッピングと制御
• Abstract要約: トレーニング後、ターゲットの振る舞いをゼロから生成する必要はない。 本稿では,行動選好を固有残差計算の符号付き因果効果にマッピングするResidual Competition Maps (RCMs)を提案する。 次に、ベースモデル重みよりも推論時隠れ状態を適応空間として扱うダイレクトハイドデン状態アライメント(DHSA)を提案する。
• 参考スコア（独自算出の注目度）: 8.64008640714622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many settings, post-training need not create the target behavior from scratch: the base model can already produce it, but not reliably. This shifts part of preference alignment from capability acquisition to behavioral expression. We ask how a specified preference is represented in native model computation, what prevents target-supporting computation from reliably dominating generation, and whether this structure can directly guide control. We introduce Residual Competition Maps (RCMs), which map a behavioral preference onto signed causal effects of native residual computation. Across preference domains, RCMs reveal coexisting target-supporting and target-competing effects, input-dependent component roles, and cases where a single native-component intervention reverses the preference outcome. DPO substantially reorganizes these effects and can weaken opposition without guaranteeing its removal. We then propose Direct Hidden-State Alignment (DHSA), which treats inference-time hidden states rather than base-model weights as the direct adaptation space. RCM-guided Causal Activation State Transition (CAST) implements DHSA through local state interventions at a small number of preference-relevant interfaces while freezing the base model. With only 256-16,384 controller parameters, CAST reaches DPO-competitive operating points across three preference domains, can complement DPO-trained models, and can be enabled or removed at inference time.
• Abstract（参考訳）: 多くの設定では、ポストトレーニングはゼロからターゲットの振る舞いを生成する必要はない。 これにより、好みのアライメントの一部が能力獲得から行動表現にシフトする。 そこで,本研究では,特定の嗜好がネイティブモデル計算でどのように表現されているか,目標支援型計算が確実に支配的な生成を妨げているのか,制御を直接導くことができるのか,などを問う。 本稿では,Residual Competition Maps (RCMs)を導入し,行動選好を固有残差計算の符号付き因果効果にマッピングする。 選好領域全体にわたって、RCMは、既存の目標支持効果と目標競合効果、入力依存コンポーネントの役割、単一ネイティブコンポーネントの介入が選好結果を逆転させるケースを明らかにする。 DPOはこれらの効果を実質的に再編成し、その除去を保証せずに反対を弱める。 次に、ベースモデル重みよりも推論時隠れ状態を適応空間として扱うダイレクトハイドデン状態アライメント(DHSA)を提案する。 RCM誘導因果活性化状態遷移(CAST)は、基本モデルを凍結しながら少数の嗜好関連インタフェースで局所状態介入を通じてDHSAを実装している。 256-16,384のコントローラパラメータだけで、CASTは3つの好みドメインでDPO互換の操作ポイントに達し、DPO訓練されたモデルを補完し、推論時に有効または削除できる。

関連論文リスト

• A Zeroth-Order Paradigm for LLM Preference Alignment [26.629761802730258]
  ComPOは、比較オラクルに基づくゼロ階アライメント手法である。 Online ComPOはオフライン比較機構を保持し、ラベルなしポリシー生成を使用してリバースKL制御を行う。 Mistral、Llama、Gemma-2、Qwen3、Gemma-3モデルの実験は、既存の直接アライメント法よりも改善されている。
  論文  参考訳（メタデータ） (2026-09-16T17:59:35Z)
• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• Closed-Loop Control with Rule-Aligned Small Language Models and Multi-Agent Self-Correction [17.527470001317685]
  本研究では,コンパクトな小言語モデル (SLM) を制御推論のために再訓練し,検証器誘導補正ループに組み込むことができるかを検討する。 ランダム化熱制御シミュレーション(それぞれ500段の30の実験)では、平均的なアクションアライメント精度が91.5%に達する。 シンボリック・リマッピングの下では95%のインレンジレートを維持しており、トークンレベルの合意が減ったにもかかわらず、堅牢な物理的規制を示している。
  論文  参考訳（メタデータ） (2026-06-24T13:49:01Z)
• Rethinking the Divergence Regularization in LLM RL [56.952725733148746]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の訓練後において重要な要素となっている。 そこで本稿では,ハードマスクをスムーズなアドバンテージ重み付き二次正規化器に置き換える多変量正規化政策最適化(DRPO)を提案する。 DRPOはDPPOと同じ信頼領域を保ちながら、有界で連続的な勾配重みを誘導する。
  論文  参考訳（メタデータ） (2026-06-08T17:58:23Z)
• Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics [81.80010043113445]
  局所的な微調整、LoRAに基づく適応、およびアクティベーションに基づく介入を分離して研究する。 制御信号によって誘導される動的ウェイト更新として、これらの介入をフレーム化する統一的な視点を示す。 提案手法では,選択と効用との間に一貫したトレードオフが観測される。
  論文  参考訳（メタデータ） (2026-02-02T17:04:36Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Refusal in LLMs is an Affine Function [1.722461331472526]
  本稿では,アフィン概念編集 (ACE) を言語モデルの振る舞いを制御するためのアプローチとして提案する。 ACEはアフィン部分空間の投影とアクティベーションの追加を組み合わせて、モデルの拒絶反応を確実に制御する。 実験の結果、ACEは既存の手法よりもモデル動作をより正確に制御できることがわかった。
  論文  参考訳（メタデータ） (2024-11-13T20:12:55Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。