論文の概要: Dr. Post-Training: A Data Regularization Perspective on LLM Post-Training
- arxiv url: http://arxiv.org/abs/2605.07063v1
- Date: Fri, 08 May 2026 00:16:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:38.692563
- Title: Dr. Post-Training: A Data Regularization Perspective on LLM Post-Training
- Title（参考訳）: Dr. ポストトレーニング: LLM ポストトレーニングにおけるデータ正規化の視点
- Abstract要約: ポストトライニング(Dr. Post-Training)は、一般的なトレーニングデータをデータ誘導正規化器として再認識する新しいフレームワークである。
我々の手法は、最先端のデータ選択ベースラインを一貫して上回ることを示す。
- 参考スコア（独自算出の注目度）: 9.040054119267344
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data selection methods address a critical challenge in LLM post-training: effectively leveraging scarce, high-fidelity target data alongside abundant but imperfectly aligned general training data. In this work, we move beyond the data-selection framing and introduce Dr. Post-Training (Data-Regularized Post-Training), a novel framework that reconceptualizes general training data as a data-induced regularizer that prevents overfitting to the scarce target objective, rather than serving as a pool for selection. Specifically, our framework proposes that at each training step, construct a feasible set of model update directions using the general training data, and project the model update direction specified by the scarce target data onto that feasible set. Standard training and existing data selection methods arise as special cases with different choices of the data-induced regularizer, and these methods correspond to different points on a bias--variance spectrum with different regularization strength. Building on this view, we propose a family of methods offering a richer design space and more flexible bias--variance tradeoffs. For practical LLM-scale use, we introduce careful system optimizations that realize these methods with minimal overhead. Extensive experiments across SFT, RLHF, and RLVR show that our methods consistently outperform state-of-the-art data selection baselines, and system benchmarks confirm their efficiency.
- Abstract（参考訳）: データ選択法は、LLMポストトレーニングにおいて重要な課題に対処する: 不十分で高忠実なターゲットデータと、豊富なが不完全な整列した一般トレーニングデータとを効果的に活用する。
本研究では,データ選択フレーミングを超えて,データ誘導正規化器として一般訓練データを再認識する新しいフレームワークであるDr. Post-Training(Data-Regularized Post-Training)を導入する。
具体的には、トレーニングの各段階において、一般的なトレーニングデータを用いてモデル更新方向の実行可能なセットを構築し、不足対象データによって指定されたモデル更新方向をその実現可能なセットに投影することを提案する。
標準トレーニングと既存のデータ選択方法は、データ誘導型正規化器の選択肢が異なる特殊な場合として発生し、これらの手法は、正規化強度の異なるバイアス分散スペクトルの異なる点に対応する。
実用的なLLMスケールの使用には,これらの手法を最小限のオーバーヘッドで実現するための注意深いシステム最適化を導入する。
SFT,RLHF,RLVRの広範な実験により,我々の手法が常に最先端のデータ選択ベースラインより優れており,システムベンチマークがそれらの効率性を確認していることがわかった。
関連論文リスト
- Demystifying Data Organization for Enhanced LLM Training [27.639372382009725]
大規模言語モデル(LLM)は様々な分野に革命をもたらしたが、その訓練効率は効果的なデータキュレーションに大きく依存している。
本稿では,データ効率向上のために作成された事前計算されたサンプルレベルのスコアを再利用することで,データ組織がLLMトレーニングに与える影響について検討する。
論文 参考訳（メタデータ） (2026-05-28T17:58:53Z) - Beyond What to Select: A Plug-and-play Oscillatory Data-Volume Scheduling for Efficient Model Training [36.289092974454796]
選択データ学習は、瞬時選択比による暗黙の正則化効果を誘導することを示す。
これは、選択によって引き起こされる正規化を低くするのに対して、高い比率はデータカバレッジを保っている、という重要なトレードオフを明らかにします。
PODSは既存の静的および動的選択メソッドと互換性があり、トレーニングパラダイムに広く適用できる。
論文 参考訳（メタデータ） (2026-05-14T12:37:11Z) - Data Mixing for Large Language Models Pretraining: A Survey and Outlook [52.66761353708619]
大規模言語モデル(LLM)は、大規模で不均一なコーパスの事前訓練に依存している。
サンプルレベルのデータ選択とは異なり、データミキシングはドメインレベルのサンプリング重量を最適化し、限られた予算をより効率的に割り当てる。
本稿では,LLM事前学習におけるデータ混合の総合的な検討について述べる。
論文 参考訳（メタデータ） (2026-03-25T13:30:40Z) - Sequential Data Augmentation for Generative Recommendation [54.765568804267645]
生成的レコメンデーションはパーソナライズされたシステムにおいて重要な役割を担い、ユーザの将来のインタラクションを過去の行動シーケンスから予測する。
データ拡張(Data augmentation)は、ユーザインタラクション履歴からトレーニングデータを構築するプロセスである。
我々は、サンプリングプロセスとして拡張をモデル化し、その結果のトレーニング分布の柔軟な制御を可能にする、原則化されたフレームワークであるGenPASを提案する。
ベンチマークと産業データセットを用いた実験により、GenPASは既存の戦略よりも精度、データ効率、パラメータ効率が優れていることが示された。
論文 参考訳（メタデータ） (2025-09-17T02:53:25Z) - RL-Selector: Reinforcement Learning-Guided Data Selection via Redundancy Assessment [10.284993431741377]
サンプル間の関係に基づいてサンプル冗長性を定量化する,エプシロン・サンプル被覆の概念を導入する。
我々は、強化学習プロセスとしてデータ選択を再構成し、RLセレクタを提案する。
我々の手法は、既存の最先端のベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2025-06-26T06:28:56Z) - Ensembles of Low-Rank Expert Adapters [9.599957499802446]
本稿では,多種多様なタスクを扱うモデルの能力を向上させるために,低ランクエキスパートアダプタ(ELREA)フレームワークの組み立てを提案する。
ELREAは、トレーニング指示をその勾配方向に基づいてクラスタ化し、さまざまな専門分野を表現している。
推論中、ELREAは、入力データの勾配とトレーニングクラスタとの類似性に基づいて、最も関連する専門家アダプタからの予測を組み合わせる。
論文 参考訳（メタデータ） (2025-01-31T18:07:21Z) - Aligning Instruction Tuning with Pre-training [61.50161961371844]
そこで我々は,AITP(Aligning Instruction Tuning with Pre-training)を提案する。
8つのベンチマークで3つの完全にオープンな大規模言語モデル(LLM)上で,AITPによる一貫したパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2025-01-16T08:27:40Z) - Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。
軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。
データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
論文 参考訳（メタデータ） (2024-12-12T18:28:55Z) - ROSE: A Reward-Oriented Data Selection Framework for LLM Task-Specific Instruction Tuning [26.069986067128912]
本稿では、タスク固有の命令チューニングのためのデータ選択を最適化するReward-Oriented InStruction Data sElection法であるROSEを紹介する。
ROSEは、最もタスク関連のトレーニングデータポイントを選択するために、数ショットの選好検証セットに対するトレーニングデータポイントの影響を近似するために影響定式化を適用する。
論文 参考訳（メタデータ） (2024-12-01T01:01:09Z) - How to Train Data-Efficient LLMs [56.41105687693619]
事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。
Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。
何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
論文 参考訳（メタデータ） (2024-02-15T02:27:57Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。