Fugu-MT 論文翻訳(概要): DEFT: Distribution-guided Efficient Fine-Tuning for Human Alignment

論文の概要: DEFT: Distribution-guided Efficient Fine-Tuning for Human Alignment

arxiv url: http://arxiv.org/abs/2604.01787v1
Date: Thu, 02 Apr 2026 08:55:53 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-03 14:21:10.626186
Title: DEFT: Distribution-guided Efficient Fine-Tuning for Human Alignment
Title（参考訳）: DEFT:人間のアライメントのための配電誘導高能率ファインチューニング
Abstract要約: 本稿では,データフィルタリングと分散誘導を組み合わせた効率的なアライメントフレームワークDEFTを提案する。実験の結果, DEFTにより強化された手法はアライメント能力と一般化能力の両方において,元の手法よりも優れていた。
参考スコア（独自算出の注目度）: 21.889327846803095
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reinforcement Learning from Human Feedback (RLHF), using algorithms like Proximal Policy Optimization (PPO), aligns Large Language Models (LLMs) with human values but is costly and unstable. Alternatives have been proposed to replace PPO or integrate Supervised Fine-Tuning (SFT) and contrastive learning for direct fine-tuning and value alignment. However, these methods still require voluminous data to learn preferences and may weaken the generalization ability of LLMs. To further enhance alignment efficiency and performance while mitigating the loss of generalization ability, this paper introduces Distribution-guided Efficient Fine-Tuning (DEFT), an efficient alignment framework incorporating data filtering and distributional guidance by calculating the differential distribution reward based on the output distribution of language model and the discrepancy distribution of preference data. A small yet high-quality subset is filtered from the raw data using a differential distribution reward, which is then incorporated into existing alignment methods to guide the model's output distribution. Experimental results demonstrate that the methods enhanced by DEFT outperform the original methods in both alignment capability and generalization ability, with significantly reduced training time.
Abstract（参考訳）: RLHF(Reinforcement Learning from Human Feedback)は、PPO(Proximal Policy Optimization)のようなアルゴリズムを使用して、人間の値とLLM(Large Language Models)を一致させるが、コストと不安定性がある。 PPOを置き換えるか、スーパービジョンファインチューニング(SFT)と直接微調整と値アライメントのためのコントラスト学習を統合するための代替案が提案されている。しかし、これらの手法は、好みを学習するためには、依然として揮発性データを必要としており、LLMの一般化能力は弱まる可能性がある。一般化能力の喪失を軽減しつつ、アライメント効率と性能をさらに向上するために、言語モデルの出力分布と嗜好データの不一致分布に基づいて、データフィルタリングと分散誘導を組み込んだ効率的なアライメントフレームワークDEFTを導入する。小さいが高品質なサブセットは差分分布報酬を用いて原データからフィルタリングされ、モデルの出力分布を導くために既存のアライメントメソッドに組み込まれる。実験結果から,DEFT法により強化された手法は,アライメント能力と一般化能力の両方において元の手法よりも優れ,トレーニング時間が大幅に短縮された。

関連論文リスト

Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
論文参考訳（メタデータ） (2026-03-04T14:48:53Z)
Towards On-Policy SFT: Distribution Discriminant Theory and its Applications in LLM Training [61.1421888242439]
Supervised Fine-tuning (SFT) は計算効率が良いが、強化学習 (RL) に比べて一般化が劣ることが多い。そこで我々は,オンポリシィSFTを有効にすることで,このシャームを橋渡しするフレームワークを提案する。
論文参考訳（メタデータ） (2026-02-12T17:59:58Z)
A Statistical Framework for Alignment with Biased AI Feedback [20.653424560119554]
AIラベルは、高品質な人間のフィードバックデータセットと比較して体系的にバイアスを受けることができる。本研究では,不均一なプロンプト応答分布と外部からのフィードバック源に対応する2つの非バイアスアライメント手法を開発した。感情生成,要約,シングルターン対話に関する実証研究により,提案手法はアライメント効率を著しく向上し,完全に人間ラベル付きデータに基づいて訓練されたオラクルに近い性能を回復することを示した。
論文参考訳（メタデータ） (2026-02-09T04:37:10Z)
Distributionally Robust Federated Learning with Outlier Resilience [8.69285602685459]
本研究では, 分散的頑健なフェデレーション学習について, 明確な外部レジリエンスを用いて検討した。我々は、ロバスト性証明を許容するトラクタブルなラグランジアンペナルティ最適化として問題を再構築する。この改革に基づいて,分散外乱フェデレーション学習アルゴリズムを提案し,その収束保証を確立する。
論文参考訳（メタデータ） (2025-09-29T08:42:12Z)
Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
論文参考訳（メタデータ） (2025-06-15T05:42:29Z)
Leveraging Robust Optimization for LLM Alignment under Distribution Shifts [51.74394601039711]
人間の値に整合した出力を生成するために、大規模言語モデルを操る上で、優先順位アライメント手法はますます重要になっている。このようなシフトに拘わらず、好みのアライメントを改善する新しい分布対応最適化フレームワークを提案する。
論文参考訳（メタデータ） (2025-04-08T09:14:38Z)
A Simple and Effective Reinforcement Learning Method for Text-to-Image Diffusion Fine-tuning [61.403275660120606]
強化学習(Reinforcement Learning, RL)に基づく微調整は, 拡散モデルとブラックボックスの目的を整合させる強力なアプローチとして登場した。拡散微調整のための新しいRLであるLOOP(Left-one-out PPO)を提案する。以上の結果から, LOOPは様々なブラックボックス対象の拡散モデルを効果的に改善し, 計算効率と性能のバランスを良くすることを示す。
論文参考訳（メタデータ） (2025-03-02T13:43:53Z)
Distributionally Robust Reinforcement Learning with Human Feedback [13.509499718691016]
大規模言語モデルを微調整するための分散ロバストなRLHFを提案する。我々のゴールは、プロンプトの分布が著しく異なる場合でも、微調整モデルがその性能を維持することである。我々は,学習した報酬モデルの精度を平均で向上し,推論などのタスクにおいて顕著に向上することを示す。
論文参考訳（メタデータ） (2025-03-01T15:43:39Z)
Direct Distributional Optimization for Provable Alignment of Diffusion Models [39.048284342436666]
分布最適化の観点から拡散モデルの新しいアライメント手法を提案する。まず、確率分布に対する一般正規化損失最小化として問題を定式化する。本研究では,Doob の $h$-transform 技術を用いてスコア関数を近似することにより,学習した分布からのサンプリングを可能にする。
論文参考訳（メタデータ） (2025-02-05T07:35:15Z)
ASFT: Aligned Supervised Fine-Tuning through Absolute Likelihood [14.512464277772194]
Aligned Supervised Fine-Tuning (ASFT)は、大規模言語モデルとペアワイズデータセットの整合性を改善する効果的なアプローチである。 ASFTは、DPO損失関数が人間の不適切なデータを生成する確率を減少させる問題を緩和する。大規模な実験により、ASFTは効果的なアライメントアプローチであり、既存の手法より一貫して優れていることが示された。
論文参考訳（メタデータ） (2024-09-14T11:39:13Z)
Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
論文参考訳（メタデータ） (2024-05-26T05:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。