論文の概要: Preference Tuning as Spectral Update Reorganization
- arxiv url: http://arxiv.org/abs/2607.20438v1
- Date: Tue, 12 May 2026 01:46:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.16144
- Title: Preference Tuning as Spectral Update Reorganization
- Title（参考訳）: スペクトル更新再編成としての選好チューニング
- Abstract要約: 本稿では,RLHFと関連する選好最適化について,そのパラメータ更新のスペクトル構造を用いて検討する。
モデルファミリ、最適化アルゴリズム、および監督体制全体にわたって、これらの更新は一貫してスペクトルヘッドテール組織を発達させる。
- 参考スコア（独自算出の注目度）: 28.22886084184427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Preference-based post-training is usually understood through endpoint behavior, yet the learned update that produces this behavior remains largely opaque. We study RLHF and related preference optimization through the spectral structure of their induced parameter updates. By decomposing effective LoRA updates and reloading their spectral components as plug-in modules, we turn preference-induced updates into objects that can be isolated, recomposed, and directly intervened on. Across model families, optimization algorithms, and supervision regimes, these updates consistently develop a spectral head--tail organization. A compact head emerges early and carries the dominant endpoint shift, while a heterogeneous residual tail remains. The split is functional rather than merely descriptive. Plug-in intervention shows that the head accounts for the visible behavioral departure from the base model, while the tail is weak in isolation. Cross-run recomposition further shows that mixed adapters follow the source of the head, indicating that the head carries run-level solver bias. This endpoint dominance does not imply learning sufficiency. Head-only learning is non-vacuous but fails to recover the full solution, especially on out-of-distribution behavior. Tail-only learning yields little visible gain, yet the full solution is not recovered without the tail. These findings recast preference post-training as structured update reorganization rather than a monolithic behavioral correction, and suggest that alignment gain and coverage loss are tied to how the learned update itself is organized.
- Abstract（参考訳）: 推論ベースのポストトレーニングは通常、エンドポイントの動作を通じて理解されるが、この動作を生成する学習された更新は、ほとんど不透明である。
本稿では,RLHFと関連する選好最適化について,そのパラメータ更新のスペクトル構造を用いて検討する。
効果的なLoRAアップデートを分解し、そのスペクトルコンポーネントをプラグインモジュールとして再ロードすることで、私たちは、分離、再分割、直接介入可能なオブジェクトに、好みによる更新を切り替えます。
モデルファミリ、最適化アルゴリズム、および監督体制全体にわたって、これらの更新は一貫してスペクトルヘッドテール組織を発達させる。
コンパクトヘッドは早く現れ、支配的な終端シフトを持ち、不均一な残尾は残る。
分割は単に記述的ではなく機能的である。
プラグインの介入は、頭部がベースモデルから見える行動的離脱を担っていることを示しているが、尾は分離が弱い。
クロスラン再構成は、混合アダプタがヘッドのソースに従っていることを示し、ヘッドがランレベルのソルババイアスを持つことを示している。
この終端支配は十分を学ばない。
ヘッドオンリーの学習は空白ではないが、特にアウト・オブ・ディストリビューションの振る舞いにおいて、完全なソリューションの回復に失敗する。
テールのみの学習では目に見えるゲインはほとんど得られないが、完全なソリューションはテールなしでは回収されない。
これらの結果は、モノリシックな行動補正ではなく、構造化された更新再構成としてのポストトレーニングの選好を再確認し、アライメントゲインとカバレッジ損失が、学習された更新自体の組織化方法と結びついていることを示唆している。
関連論文リスト
- Spectral Rewiring for Exploration, Purification, and Model Merging [40.70734593668918]
Subspace-Aligned Rewiring (SAR)は、コンポーネントを削除しながら推論ゲインを保持するポストホックな編集方法である。
本研究は,SARがポストトレーニング性能の99%以上を保ち,数学的推論における高K探索を改善することを示す。
また、算術的推論と後続の指示を維持しながら、抑圧された符号化能力をリリースすることにより、混合ドメインのトレーニング更新を浄化する。
論文 参考訳（メタデータ） (2026-07-03T07:57:31Z) - Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping [66.25536973294726]
テキスト・トゥ・イメージ(T2I)モデルのポストトレーニング手法はハッキングに報いる傾向がある。
SLAS(Super-Linear Advantage Shaping)は、地方政策の分野を再考する。
SLASは、DanceGRPOベースラインを複数のバックボーンとベンチマークで一貫して上回っている。
論文 参考訳（メタデータ） (2026-05-11T17:59:25Z) - HSFM: Hard-Set-Guided Feature-Space Meta-Learning for Robust Classification under Spurious Correlations [25.503211313768062]
本稿では,特徴空間で直接拡張を行う二段階メタラーニング手法を提案する。
ピクセル空間ではなくバックボーン出力で操作することで、この手法は非常に効率的で安定であり、1つのGPUで数分のトレーニングしか必要としない。
論文 参考訳（メタデータ） (2026-03-31T06:32:56Z) - Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。
既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。
本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
論文 参考訳（メタデータ） (2026-01-31T13:27:02Z) - Geometric-Disentangelment Unlearning [106.99160454669902]
忘れたサンプルへの勾配は しばしば 保持された知識を傷つける
本稿では,GU(Geometric-disment Unlearning)を提案する。
本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
論文 参考訳（メタデータ） (2025-11-21T09:58:25Z) - STABLE: Gated Continual Learning for Large Language Models [0.0]
STABLEは、シーケンシャルな更新時に忘れることを制限する、ゲート付き連続的なセルフ編集フレームワークである。
各候補編集は3つの指標のうちの1つを用いて安定性の予算に対して評価される。
Qwen-2.5-7Bモデルの実験では、ゲーティングは適応性を保ちながら忘れを効果的に軽減することを示した。
論文 参考訳（メタデータ） (2025-10-17T16:14:05Z) - ResAD++: Towards Class Agnostic Anomaly Detection via Residual Feature Learning [52.11294707895649]
本稿では,クラス非依存型異常検出(AD)の問題点について検討する。
目的は、ターゲットデータの再トレーニングや微調整をせずに、異なるドメインから様々な新しいクラスの異常を一般化して検出できる、クラスに依存しないADモデルをトレーニングすることである。
8つの実世界のADデータセットに関する総合的な実験は、ResAD++が新しいクラスで直接使用されると、素晴らしいAD結果が得られることを示した。
論文 参考訳（メタデータ） (2025-09-28T08:41:05Z) - SelfAug: Mitigating Catastrophic Forgetting in Retrieval-Augmented Generation via Distribution Self-Alignment [49.86376148975563]
大規模言語モデル(LLM)は、様々なタスクを理解し実行する能力を通じて自然言語処理に革命をもたらした。
教師付き微調整、特にRetrieval-Augmented Generation (RAG)のシナリオでは、しばしば破滅的な忘れが生じる。
本稿では,モデルのセマンティック分布を保存するために,入力シーケンスロジットをアライメントする自己分布アライメント手法であるSelfAugを提案する。
論文 参考訳（メタデータ） (2025-09-04T06:50:47Z) - DR-Tune: Improving Fine-tuning of Pretrained Visual Models by
Distribution Regularization with Semantic Calibration [38.4461170690033]
セマンティックキャリブレーションを用いた分布正規化(DR-Tune)という,新しい微調整フレームワークを提案する。
DR-Tuneは、下流タスクヘッドを強制して、事前訓練された特徴分布の分類誤差を低減することで、分散正則化を採用する。
セマンティックドリフトによる干渉を軽減するため,セマンティックキャリブレーション(SC)モジュールを開発した。
論文 参考訳（メタデータ） (2023-08-23T10:59:20Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳（メタデータ） (2022-02-14T16:42:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。