論文の概要: Dynamic Important Example Mining for Reinforcement Finetuning
- arxiv url: http://arxiv.org/abs/2608.29252v1
- Date: Sat, 29 Aug 2026 13:12:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.901467
- Title: Dynamic Important Example Mining for Reinforcement Finetuning
- Title（参考訳）: 強化ファインタニングのための動的重要事例マイニング
- Abstract要約: 強化微調整 (Reinforcement fine-tuning, RFT) は、大型モデルの推論能力を高めるためにますます用いられる。
ほとんどのデータ中心のRFTメソッドは静的またはサンプルの選択に依存しており、サンプルの値がトレーニング中に固定されていることを暗黙的に仮定している。
RFT 全体にわたってデータ利用を適応させる,原則的かつ完全に自動化されたフレームワークである Dynamic important Example Mining (DIEM) を提案する。
- 参考スコア（独自算出の注目度）: 53.98969373888718
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement fine-tuning (RFT) is increasingly used to strengthen the reasoning abilities of large models, yet its effectiveness is bound by how training data are selected and used. Most data-centric RFT methods rely on static or heuristic sample selection, implicitly assuming a sample's value is fixed over training. This overlooks the non-stationary dynamics of policy learning and can lead to suboptimal updates. We propose Dynamic Important Example Mining (DIEM), a principled and fully automated framework that makes data utilization adaptive throughout RFT. DIEM integrates two components into each optimization step: (i) a gradient-alignment importance estimator that efficiently approximates each sample's marginal contribution to policy improvement; and (ii) a constrained batch reweighting scheme that maximizes aggregate utility while preserving the update's gradient magnitude to stabilize optimization. Across several reasoning benchmarks, DIEM consistently outperforms strong static and dynamic baselines. The code will be released via https://github.com/hrtan/DIEM.
- Abstract（参考訳）: 強化微調整 (Reinforcement fine-tuning, RFT) は, 大規模モデルの推論能力を高めるためにますます用いられているが, その有効性は, トレーニングデータの選択と使用方法によって制限される。
ほとんどのデータ中心のRFT法は静的またはヒューリスティックなサンプル選択に依存しており、サンプルの値がトレーニング中に固定されていることを暗黙的に仮定している。
これは、ポリシー学習の非定常的ダイナミクスを見落とし、最適以下の更新につながる可能性がある。
RFT 全体にわたってデータ利用を適応させる,原則的かつ完全に自動化されたフレームワークである Dynamic important Example Mining (DIEM) を提案する。
DIEMは2つのコンポーネントを最適化ステップに統合します。
一 各サンプルの政策改善に対する限界貢献を効率的に近似する勾配調整重要度推定器
(II) 最適化を安定させるために更新の勾配等級を保ちながら集約ユーティリティを最大化する制約付きバッチ再重み付け方式。
いくつかの推論ベンチマークにおいて、DIEMは強い静的および動的ベースラインを一貫して上回っている。
コードはhttps://github.com/hrtan/DIEMで公開される。
関連論文リスト
- Metadata-Free Meta-Reweighted Direct Preference Optimization under Noisy Preference Labels [4.826561433595647]
両レベル最適化フレームワークを提案し、ある仮定の下では、クリーンデータの下でDPO最適化を回復可能であることを証明した。
高品質なメタデータを得るのが難しいことを考慮し,タスクに依存しないメタ知識駆動手法を提案する。
TL;DR要約とHH単ターン対話実験により,提案手法は異なる雑音速度下で複数のDPOベースライン上でのトレーニング性能を向上させることを示した。
論文 参考訳（メタデータ） (2026-07-09T09:20:25Z) - DRIFT: Decoupled Rollouts and Importance-Weighted Fine-Tuning for Efficient Multi-Turn Optimization [37.598637850911]
大規模言語モデルは、マルチターンのインタラクティブな設定にますますデプロイされている。
オンライン強化学習は、マルチターンダイナミックスに効果的に対処できるが、完全な修正軌道を生成するコストのため、非常に高価である。
オフラインの教師付き微調整は効率的だが、分散シフトと行動崩壊に悩まされる。
DRIFTは、KL正規化RL目標が重み付き教師あり学習と等価であるという理論的洞察を運用するフレームワークである。
論文 参考訳（メタデータ） (2026-05-29T15:49:13Z) - Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
強化学習は、教師付き学習よりも構造的に難しい。
本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
論文 参考訳（メタデータ） (2026-05-12T16:44:47Z) - IPD: Boosting Sequential Policy with Imaginary Planning Distillation in Offline Reinforcement Learning [13.655904209137006]
オフラインプランニングをデータ生成,教師付きトレーニング,オンライン推論にシームレスに組み込む新しいフレームワークである textbfImaginary Planning Distillation (IPD) を提案する。
まず,オフラインデータから不確実性対策と準最適値関数を備えた世界モデルを学習する。
従来の手動で調整した戻り値関数を準最適値関数に置き換えることで、IDDは推論時の意思決定安定性と性能を改善する。
論文 参考訳（メタデータ） (2026-03-04T17:05:39Z) - ADORA: Training Reasoning Models with Dynamic Advantage Estimation on Reinforcement Learning [32.8666744273094]
textbfOnline textbfRollout textbfAdaptation, textbfADORA (textbfAdvantage textbfDynamics via textbfOnline textbfRollout textbfAdaptation)を導入する。
論文 参考訳（メタデータ） (2026-02-10T17:40:39Z) - Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。
SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。
複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
論文 参考訳（メタデータ） (2026-02-01T12:56:10Z) - In-Context Reinforcement Learning From Suboptimal Historical Data [56.60512975858003]
トランスフォーマーモデルは、主にコンテキスト内学習能力によって、目覚ましい経験的成功を収めた。
本稿では,アクタ・クリティカルなアルゴリズムを文脈内でエミュレートする決定重要度変換フレームワークを提案する。
以上の結果から,特にオフラインデータセットが最適な履歴データを含む場合,DITは優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2026-01-27T23:13:06Z) - Holdout-Loss-Based Data Selection for LLM Finetuning via In-Context Learning [19.677969862434708]
本稿では,データ選択と再重み付けのための理論的に基礎的,資源効率のよいフレームワークを提案する。
In-Context Approximation (ICA) は、モデルが候補の例でトレーニングした後のホールドアウト損失を推定する。
モデルパラメータの進化に伴い, ICAスコアから指数重みを導出し, 勾配更新を動的に再加重する。
論文 参考訳（メタデータ） (2025-10-16T09:00:39Z) - Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。
本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。
アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
論文 参考訳（メタデータ） (2025-10-01T12:29:32Z) - Relative Entropy Pathwise Policy Optimization [66.03329137921949]
そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。
安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
論文 参考訳（メタデータ） (2025-07-15T06:24:07Z) - Large Continual Instruction Assistant [59.585544987096974]
CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。
既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。
本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-08T11:24:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。