論文の概要: Dynamic Minimax Regret Optimization for Robust LLM Post-Training

• arxiv url: http://arxiv.org/abs/2610.06329v1
• Date: Mon, 05 Oct 2026 13:39:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 09:07:46.194367
• Title: Dynamic Minimax Regret Optimization for Robust LLM Post-Training
• Title（参考訳）: ロバストLDM後評価のための動的ミニマックスレグレット最適化
• Abstract要約: グループ分布に頑健なLDMポストトレーニングに対する動的ミニマックス後悔について, 即時的なミニバッチのみの包括的フィードバックの下で検討した。 サンプルは帯域フィードバックを用いてデータソースの中から適応的に選択し、選択したソースからの勾配を用いてモデルパラメータを更新する。
• 参考スコア（独自算出の注目度）: 9.522178332300788
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern LLM training increasingly relies on heterogeneous data sources spanning different domains, tasks, preference distributions, and difficulty levels. We study dynamic minimax regret for group-distributionally robust LLM post-training under instantaneous mini-batch-only bandit feedback. The framework views the training as a two-player sampler-optimizer process: a sampler adaptively selects among data sources using bandit feedback, while an optimizer updates the model parameters using stochastic gradients from the selected source. We focus on the practically restrictive setting where source losses evolve with model training but historical data are not re-evaluated, requiring the sampler to track instantaneous worst-sources from stale partial feedback. We propose DUCB-OGD, a simple and scalable algorithm that couples a Discounted Upper-Confidence-Bound sampler with an Online Gradient Descent optimizer. The sampler maintains exponential moving average loss estimates and confidence radii based on discounted effective sample sizes, avoiding costly re-evaluation of past data or intrusive changes to standard training pipelines. For $K$ data sources and $T$ training steps, we prove that DUCB-OGD achieves a dynamic minimax regret of $\tilde{O}(K^{1/4}T^{3/4})$, which is optimal up to logarithmic factors for the undiscounted objective under our feedback model. Extensive experiments across supervised fine-tuning, preference optimization, and reinforcement learning show that DUCB-OGD integrates seamlessly into modern LLM training pipelines and improves worst-group robustness with negligible computational overhead compared with standard sampling baselines.
• Abstract（参考訳）: 現代のLLMトレーニングは、異なるドメイン、タスク、好みの分布、難易度にまたがる異種データソースにますます依存している。 グループ分布に頑健なLDMポストトレーニングに対する動的ミニマックス後悔について, 即時的なミニバッチのみの包括的フィードバックの下で検討した。 このフレームワークは、トレーニングを2つのプレーヤのサンプル-最適化プロセスと見なしている: サンプルは、バンドフィードバックを用いてデータソースの中から適応的に選択し、オプティマイザは、選択したソースから確率勾配を用いてモデルパラメータを更新する。 モデルトレーニングによってソースの損失が発展するが、過去のデータは再評価されず、サンプルは静的な部分的なフィードバックから瞬時に最悪のソースを追跡する必要がある。 本稿では, DACB-OGDとオンライングラディエントDescentオプティマイザを結合した簡易かつスケーラブルなアルゴリズムを提案する。 サンプル装置は、ディスカウントされた有効サンプルサイズに基づいて、指数的な移動平均損失推定と信頼率を維持でき、過去のデータの再評価や標準訓練パイプラインへの侵入的な変更を避けることができる。 K$のデータソースと$T$のトレーニングステップに対して、DUCB-OGDが$\tilde{O}(K^{1/4}T^{3/4})$の動的ミニマックスの後悔を達成することを証明します。 教師付き微調整、選好最適化、強化学習による大規模な実験により、DUCB-OGDは現代のLLMトレーニングパイプラインにシームレスに統合され、標準サンプリングベースラインと比較して無視できる計算オーバーヘッドで最悪のグループロバスト性を向上させることが示されている。

関連論文リスト

• Zero-Order Optimization for LLM Fine-Tuning via Learnable Direction Sampling [40.94400211806987]
  摂動方向のサンプリング分布を学習可能なポリシとして扱う政策駆動型ZOフレームワークを提案する。 学習したサンプリングは、品質勾配情報を改善し、$d$の収束境界への明示的な依存を緩和することを示す。 以上の結果から,適応方向サンプリングはZOの微調整を大規模に実現する上で有望な方法であることが示唆された。
  論文  参考訳（メタデータ） (2026-02-14T08:01:41Z)
• MiniRec: Data-Efficient Reinforcement Learning for LLM-based Recommendation [50.417769112326546]
  MiniRecは、RLベースの大規模言語モデル(LLM)レコメンデーションに適したデータ選択フレームワークである。 重要なRL信号 -- 報酬 -- を使ってサンプルの学習性を評価する。
  論文  参考訳（メタデータ） (2026-02-04T07:15:49Z)
• VADE: Variance-Aware Dynamic Sampling via Online Sample-Level Difficulty Estimation for Multimodal RL [38.782188833641676]
  GRPOやGSPOのようなグループベースのポリシー最適化手法は、マルチモーダルモデルのトレーニングの標準となっている。 グループ内のすべての応答が同じ報酬を受けると、それらは致命的な急激な消滅問題に悩まされる。 textbfVADEは,オンラインサンプルレベルの難易度を用いたサンプリングフレームワークである。
  論文  参考訳（メタデータ） (2025-11-24T08:59:54Z)
• From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
  大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。 LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。 共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
  論文  参考訳（メタデータ） (2025-10-06T17:58:01Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• A Gradient-based Approach for Online Robust Deep Neural Network Training with Noisy Labels [27.7867122240632]
  本稿では,雑音ラベルのオンライン選択を可能にする新しい手法を提案する。 オンライングラディエントベースの選択選択(OGRS)は、パラメータ設定を変更することなく、さまざまなクリーン比を持つデータセットから更新するステップによって、クリーンサンプルを自動的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-08T08:57:06Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。