論文の概要: D-STEER - Preference Alignment Techniques Learn to Behave, not to Believe -- Beneath the Surface, DPO as Steering Vector Perturbation in Activation Space

• arxiv url: http://arxiv.org/abs/2512.11838v1
• Date: Wed, 03 Dec 2025 14:43:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-21 14:22:08.711633
• Title: D-STEER - Preference Alignment Techniques Learn to Behave, not to Believe -- Beneath the Surface, DPO as Steering Vector Perturbation in Activation Space
• Title（参考訳）: D-STEER - 振動空間におけるステアリングベクトル摂動としてのDPO
• Abstract要約: DPO(Direct Preference Optimization)は、大規模言語モデルの整合化のための標準レシピとなっている。 本稿は、DPOがモデル内部の信念を書き換えるのではなく、少数の選好方向に沿ってアクティベーションを育む低ランクのステアリング機構として機能すると主張している。
• 参考スコア（独自算出の注目度）: 20.00125473464331
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Direct Preference Optimization (DPO) has become a standard recipe for aligning large language models, yet it is still unclear what kind of change it actually induces inside the network. This paper argues that DPO does not rewrite a models internal beliefs; instead, it acts as a low rank steering mechanism that nudges activations along a small number of preference directions. Using a simple derivation, we show that the DPO gradient depends only on the difference between the logit embeddings of preferred and dispreferred completions, implying a first order shift in the final hidden representation rather than a deep restructuring of semantics. We then extract an empirical steering vector from a DPO tuned model and demonstrate that adding this vector to base activations reproduces most of the aligned behavior, while subtracting it nearly restores the original model. Finally, spectral analyses reveal rank-one dominance and entropy collapse in upper layers, indicating that alignment is funneled through a narrow subspace. Taken together, these results support a behavioral illusion view of DPO: it teaches models how to act aligned, not what to believe.
• Abstract（参考訳）: DPO(Direct Preference Optimization)は、大規模な言語モデルを調整するための標準的なレシピとなっているが、ネットワーク内で実際にどのような変更が引き起こされるのかは不明だ。 本稿は、DPOがモデル内部の信念を書き換えるのではなく、少数の選好方向に沿ってアクティベーションを育む低ランクのステアリング機構として機能すると主張している。 単純な導出法を用いて、DPO勾配は好みの完備化のロジト埋め込みと非推奨の完備化の差にのみ依存し、意味論の深い再構成ではなく、最後の隠蔽表現の1次シフトを意味することを示す。 次に、DPOチューニングモデルから経験的ステアリングベクトルを抽出し、このベクトルをベースアクティベーションに追加すると、ほとんどの整合挙動が再現され、元のモデルはほぼ復元されることを示した。 最後に、スペクトル分析により、上層層におけるランク1の優位性とエントロピーの崩壊が明らかとなり、アライメントが狭い部分空間を通り抜けていることが示されている。 まとめると、これらの結果はDPOの行動錯視的な見方を支持します。

関連論文リスト

• Drift-Constrained Optimization: Only Direction Matters in Fine-Tuning Instruct Models [58.27409489926424]
  微調整インストラクションモデルは、参照モデルから振る舞いのドリフトを誘導しながら、しばしば目標性能を改善する。 行動ドリフトが参照モデルに固定された共有幾何をいかに誘導するかを示し、ドリフト予算が空間内の境界を定義する。 私たちの結果は、微調整はモデルの変更量だけでなく、その変更にどのように費やされているかを示唆しています。
  論文  参考訳（メタデータ） (2026-09-12T03:13:54Z)
• MENTIS: What Belief Changes Under Alignment? Measuring Multi-Scale Latent Torsion in Language Models [16.071341117554038]
  我々は、アライメントによる内部再構成を測定するためのフレームワークであるMENTISを紹介する。 LITMUSでは,4組の7-8Bモデルペアに対して,アライメントによる変化は均一ではなく選択的であることが判明した。 これらの結果は, 行動レベルの評価だけでは明らかでない, 内部計算において, 深度局所化された幾何的シグネチャが構築されていることを示唆している。
  論文  参考訳（メタデータ） (2026-05-31T07:05:51Z)
• Geometry-Adaptive Explainer for Faithful Dictionary-Based Interpretability under Distribution Shift [17.611062308867275]
  分布シフトは、モデルが積極的に使用する部分空間を回転させ、イン・ディストリビューション(ID)アクティベーションに基づいて訓練された説明者の辞書を誤ることを示す。 我々は,このミスアライメントを,ID辞書とOOD活性部分空間との間の幾何学的距離である忠実度ギャップとして定式化する。 提案するGeometry-Adaptive Explainer (GAE, Geometry-Adaptive Explainer) は,従来の特徴構造を保ちながら,OOD-active 部分空間で説明者の辞書を実現する。
  論文  参考訳（メタデータ） (2026-05-21T00:46:01Z)
• Topology-Enhanced Alignment for Large Language Models: Trajectory Topology Loss and Topological Preference Optimization [11.937755996746331]
  SFTとRLHF/DPOによる大きな言語モデル(LLM)のアライメントは通常、表現空間のグローバルな幾何学を無視している。 0次元の持続的ホモロジーを用いてこれらの軌道を正則化するトポロジ強化アライメントフレームワークを提案する。 結果は、永続的ホモロジーと軌道幾何学が制御可能なアライメントに対して有望な方向を提供することを示している。
  論文  参考訳（メタデータ） (2026-05-08T03:07:31Z)
• This Looks Distinctly Like That: Grounding Interpretable Recognition in Stiefel Geometry against Neural Collapse [28.864167134877885]
  プロトタイプネットワークは、本質的なケースベースの説明メカニズムを提供するが、その解釈可能性はしばしばプロトタイプの崩壊によって損なわれる。 適応多様体プロトタイプ (AMP) は, クラスプロトタイプを正規直交基底として表現し, ランク1のプロトタイプの崩壊を建設によって実現不可能にする。 AMPは最先端の分類精度を達成し、従来の解釈可能なモデルよりも因果的忠実性を大幅に改善する。
  論文  参考訳（メタデータ） (2026-03-09T13:36:54Z)
• Autoregressive Direct Preference Optimization [42.22530165271681]
  我々はBradley-Terryモデルを適用する前に自己回帰的仮定を明示的に導入する新しい定式化を導入する。 我々は、自己回帰モデリングを優先最適化フレームワークに明示的に統合する、自己回帰 DPO (Autoregressive DPO) と呼ばれる新しい変種を導出する。 DPOに基づくアルゴリズムを設計する際に考慮すべき2つの長さ尺度が存在することを示す。
  論文  参考訳（メタデータ） (2026-02-10T08:45:30Z)
• Efficient Representations are Controllable Representations [0.0]
  LLMの内部的な概念の表現方法を制御するには、まずモデルを識別し、次にモデルの既存の特徴幾何学に介入する洗練された方法が必要である。 単純な補助損失でLCMを微調整し、3072の残留ストリーム次元のうち16を、生成に必要な概念を示す不活性な解釈可能性フラグとして訓練する。 その結果、これらの不活性フラグは真の内部機能となり、解釈可能な制御スイッチによって推論時に生成を制御できます。
  論文  参考訳（メタデータ） (2026-02-08T05:32:02Z)
• Tangent Space Fine-Tuning for Directional Preference Alignment in Large Language Models [0.2538209532048867]
  私たちのゴールは、原則と制御可能なアライメントを通じて、大きな言語モデルで人間の好みの次元をバランスさせることです。 本稿では、局所線形な状態下でDPOを実行し、オブジェクトごとの更新方向を学習するTangent-Space Direct Preference Optimization (TS-DPO)を提案する。
  論文  参考訳（メタデータ） (2026-02-01T09:56:28Z)
• YaPO: Learnable Sparse Activation Steering Vectors for Domain Adaptation [56.35317441010461]
  しかし、もう一つのポリシー最適化 (YaPO) は、スパースオートエンコーダの潜在空間におけるテキストスパースステアリングベクトルを学習する、テキスト参照のない手法である。 スパース符号を最適化することにより、YaPOは、絡み合った、解釈可能な、効率的な操舵方向を生成する。 また,YaPOはより高速に収束し,より優れた性能を示し,高密度ステアリングベースラインに比べてトレーニング安定性が向上することを示した。
  論文  参考訳（メタデータ） (2026-01-13T11:10:13Z)
• Deep learning for pedestrians: backpropagation in Transformers [1.14219428942199]
  我々はインデックスフリーな手法を、埋め込み、マルチヘッド自己注意、レイヤー正規化といった新しいタイプのレイヤーに適用する。 最小主義的なGPT様ネットワークの完全なPyTorch実装と、そのすべての勾配更新の分析式も提供される。
  論文  参考訳（メタデータ） (2025-12-29T09:26:19Z)
• Understanding the Effects of Domain Finetuning on LLMs [60.874016669351874]
  大規模医療言語モデルにおけるドメイン固有微調整に関する最初の体系的研究について述べる。 解析の結果,微調整は表現部分空間の小さな部分集合のみを修飾することがわかった。 サブ空間におけるこれらの変化を解釈するために、微調整によって引き起こされる方向パラメータシフトを明示的にキャプチャするチューニングベクトルを提案する。
  論文  参考訳（メタデータ） (2025-10-10T13:14:06Z)
• Why Alignment Must Precede Distillation: A Minimal Working Explanation [50.784080714897776]
  標準のKD -> Alignワークフローは、稀だが望ましい振る舞いを整列するためにモデルの能力を低下させる。 蒸留に先立って,まず高リコール基準でアライメントを行わなければならないことを示す。
  論文  参考訳（メタデータ） (2025-09-28T06:12:19Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Reasoning-Finetuning Repurposes Latent Representations in Base Models [1.3286418032136589]
  微調整を推論することによって引き起こされる創発的な振る舞いであるバックトラックは、モデルの強化能力を推論する上で重要なメカニズムであることが示されている。 バックトラックの出現は,すでにベースモデルアクティベーションに存在している再利用方向によって部分的に駆動されていることを示す。
  論文  参考訳（メタデータ） (2025-07-16T21:21:03Z)
• Multi-Preference Lambda-weighted Listwise DPO for Small-Scale Model Alignment [5.276657230880984]
  大規模言語モデル(LLM)は、幅広い言語タスクに対して強力な一般化を示すが、しばしば人間の好みに反する出力を生成する。 直接最適化選好(DPO)は、二項選好対に対する分類タスクとしてアライメントを扱い、プロセスを単純化する。 我々は、より詳細な人間のフィードバックからモデルを学習できるマルチパラメータLambda-weighted Listwise DPOを提案する。 本手法は, 実世界の展開に適した効率, 制御可能, きめ細かな適応を実現しつつ, 標準DPOのアライメント性能を常に向上させる。
  論文  参考訳（メタデータ） (2025-06-24T16:47:17Z)
• DenseDPO: Fine-Grained Temporal Preference Optimization for Video Diffusion Models [92.36630583208647]
  本稿では,3つのコントリビューションによって欠点に対処するDenseDPOを紹介する。 まず,地上の真理ビデオの破損したコピーをデノベートすることで,DPO用のビデオペアを作成する。 第二に、得られた時間的アライメントを利用して、クリップ全体よりも短いセグメントにラベルを付けることで、より密でより正確な学習信号が得られる。
  論文  参考訳（メタデータ） (2025-06-04T03:06:08Z)
• The Feature Speed Formula: a flexible approach to scale hyper-parameters of deep neural networks [27.666992667126053]
  機能更新と後方パスの間の角度$theta_ell$を予測し、制御するための重要な概念を紹介します。 1つのGDステップ後の機能更新の規模は、任意のトレーニング時間において、単純で一般的なエンフェチュア・スピード・フォーミュラで表現できることが示される。
  論文  参考訳（メタデータ） (2023-11-30T17:19:18Z)
• Simple and Effective Prevention of Mode Collapse in Deep One-Class Classification [93.2334223970488]
  深部SVDDにおける超球崩壊を防止するための2つの正則化器を提案する。 第1の正則化器は、標準のクロスエントロピー損失によるランダムノイズの注入に基づいている。 第2の正規化器は、小さすぎるとミニバッチ分散をペナライズする。
  論文  参考訳（メタデータ） (2020-01-24T03:44:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。