論文の概要: The Anatomy of Alignment: Decomposing Preference Optimization by Steering Sparse Features

• arxiv url: http://arxiv.org/abs/2509.12934v2
• Date: Thu, 25 Sep 2025 20:31:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 18:47:02.694653
• Title: The Anatomy of Alignment: Decomposing Preference Optimization by Steering Sparse Features
• Title（参考訳）: 配向の解剖:スパース特徴のステアリングによる選好最適化の分解
• Authors: Jeremias Ferrao, Matthijs van der Lende, Ilija Lichkovski, Clement Neo,
• Abstract要約: このフレームワークは、解釈可能なスパース機能を調節することで、モデル動作を操る軽量なアダプタを訓練する。 この機構は, 学習後プロセスの挙動変化を近似するのに十分な原理と表現性を有することを示す。 全体として、FSRLは解釈可能な制御インターフェースを提供し、フィーチャレベルでの好み最適化の圧力がどのように現れるかを診断する実用的な方法を提供している。
• 参考スコア（独自算出の注目度）: 1.7832672957068079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prevailing alignment methods induce opaque parameter changes, making it difficult to audit what the model truly learns. To address this, we introduce Feature Steering with Reinforcement Learning (FSRL), a framework that trains a lightweight adapter to steer model behavior by modulating interpretable sparse features. First, we theoretically show that this mechanism is principled and expressive enough to approximate the behavioral shifts of post-training processes. Then, we apply this framework to the task of preference optimization and perform a causal analysis of the learned policy. We find that the model relies on stylistic presentation as a proxy for quality, disproportionately steering features related to style and formatting over those tied to alignment concepts like honesty. Despite exploiting this heuristic, FSRL proves to be an effective alignment method, achieving a substantial reduction in preference loss. Overall, FSRL offers an interpretable control interface and a practical way to diagnose how preference optimization pressures manifest at the feature level.
• Abstract（参考訳）: 一般的なアライメント手法は不透明なパラメータの変更を引き起こし、モデルが本当に何を学んでいるかを評価するのが難しくなる。 そこで本稿では,FSRL(Feature Steering with Reinforcement Learning)について紹介する。 まず、このメカニズムは、後学習過程の挙動変化を近似するのに十分な原理と表現性を持つことを示す。 そして,この枠組みを選好最適化の課題に適用し,学習方針の因果解析を行う。 このモデルは質の代用としてスタイリスティックなプレゼンテーションに依存しており、正直なようにアライメントの概念に結びついているものよりも、スタイルやフォーマッティングに関連する不公平な特徴を定式化しています。 このヒューリスティックを利用しても、FSRLは効果的なアライメント法であることが証明され、選好損失を大幅に減少させる。 全体として、FSRLは解釈可能な制御インターフェースを提供し、フィーチャレベルでの好み最適化の圧力がどのように現れるかを診断する実用的な方法を提供している。

関連論文リスト

• Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics [81.80010043113445]
  局所的な微調整、LoRAに基づく適応、およびアクティベーションに基づく介入を分離して研究する。 制御信号によって誘導される動的ウェイト更新として、これらの介入をフレーム化する統一的な視点を示す。 提案手法では,選択と効用との間に一貫したトレードオフが観測される。
  論文  参考訳（メタデータ） (2026-02-02T17:04:36Z)
• How to Set the Learning Rate for Large-Scale Pre-training? [73.03133634525635]
  我々はこの調査を2つの異なる研究パラダイムであるフィッティングとトランスファーに定式化する。 フィッティングパラダイムでは,探索係数のスケーリング法則を導入し,O(n3) から O(n*C_D*C_) への探索複雑性を予測モデルにより効果的に低減する。 我々は、$Transferの原則をMixture of Experts (MoE)アーキテクチャに拡張し、モデル深さ、重量減衰、トークン水平線を含む適用範囲を広げる。
  論文  参考訳（メタデータ） (2026-01-08T15:55:13Z)
• From RLHF to Direct Alignment: A Theoretical Unification of Preference Learning for Large Language Models [0.7366405857677227]
  本調査は、選好学習手法のテキスト理論的統合を提供する。 それぞれの軸を正確な定義と定理で定式化する。 我々は50以上の論文にまたがる経験的知見を合成し,方法選択のための実践者の意思決定ガイドを提供する。
  論文  参考訳（メタデータ） (2026-01-03T08:33:26Z)
• The Path Not Taken: RLVR Provably Learns Off the Principals [85.41043469428365]
  スパーシティはモデル条件の最適化バイアスの表面積であることを示す。 我々はこれらの力学を三ゲージ理論で機械的に説明する。 本稿では,RLVRの学習力学のパラメータレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-11-11T18:49:45Z)
• AdaLRS: Loss-Guided Adaptive Learning Rate Search for Efficient Foundation Model Pretraining [12.630306478872043]
  オンライン最適学習率探索を行うプラグイン・アンド・プレイ適応学習率探索アルゴリズムである textbfAdaLRS を提案する。 実験により,AdaLRSは最適近傍の最適学習率を顕著な効率と有効性で調整することが示された。
  論文  参考訳（メタデータ） (2025-06-16T09:14:01Z)
• Diffusion Guidance Is a Controllable Policy Improvement Operator [98.11511661904618]
  CFGRLは教師付き学習の単純さで訓練されているが、データ内のポリシーをさらに改善することができる。 オフラインのRLタスクでは、信頼性の高いトレンドが観察されます -- ガイダンスの重み付けの増加によって、パフォーマンスが向上します。
  論文  参考訳（メタデータ） (2025-05-29T14:06:50Z)
• Solver-Informed RL: Grounding Large Language Models for Authentic Optimization Modeling [3.253908111652627]
  大型言語モデル(LLM)は、しばしば幻覚に対する形式的正当で使用可能なモデルを生成するのに苦労する。 本稿では,検証リワードを用いた強化学習を用いた最適化モデルのためのLLMの信頼性を向上する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-17T02:32:03Z)
• Surrogate Fitness Metrics for Interpretable Reinforcement Learning [7.889696505137217]
  我々は、情報的かつ多様な政策実証を生成するために、初期状態を摂動させる進化的最適化フレームワークを採用している。 共同サロゲート適合度関数は、局所的な多様性、行動的確実性、グローバルな人口多様性を組み合わせることで最適化を導く。 本研究は、サロゲート適合関数の精製と系統解析により、RLモデルの解釈可能性を向上させる。
  論文  参考訳（メタデータ） (2025-04-20T15:01:19Z)
• Align-Pro: A Principled Approach to Prompt Optimization for LLM Alignment [40.71270945505082]
  大規模言語モデル(LLM)は、様々な社会的および意思決定プロセスに統合されつつある。 人間のフィードバックからの強化学習(RLHF)のような従来の手法は、微調整モデルパラメータによるアライメントを実現する。 対照的に、迅速な最適化はLLMアライメントのためのRLHFの代替となる。
  論文  参考訳（メタデータ） (2025-01-07T03:14:39Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Linear Alignment: A Closed-form Solution for Aligning Human Preferences without Tuning and Feedback [70.32795295142648]
  リニアアライメントは、言語モデルと人間の好みを1つの推論ステップで整列する新しいアルゴリズムである。 一般的な選好データセットとパーソナライズされた選好データセットの実験により、線形アライメントはLLMアライメントの性能と効率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-21T10:46:23Z)
• Optimal Goal-Reaching Reinforcement Learning via Quasimetric Learning [73.80728148866906]
  準メトリック強化学習(QRL)は、準メトリックモデルを用いて最適な値関数を学習する新しいRL法である。 オフラインおよびオンラインの目標達成ベンチマークでは、QRLはサンプル効率とパフォーマンスが改善されている。
  論文  参考訳（メタデータ） (2023-04-03T17:59:58Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Learning Off-Policy with Online Planning [18.63424441772675]
  本研究では,学習モデルと端末値関数を用いたHステップルックアヘッドの新たなインスタンス化について検討する。 ナビゲーション環境の集合に配置する際の安全性制約を組み込むLOOPの柔軟性を示す。
  論文  参考訳（メタデータ） (2020-08-23T16:18:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。