論文の概要: A Distribution-Matching Perspective on LLM Training Algorithms

• arxiv url: http://arxiv.org/abs/2610.33740v1
• Date: Sat, 24 Oct 2026 15:30:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.433228
• Title: A Distribution-Matching Perspective on LLM Training Algorithms
• Title（参考訳）: LLM学習アルゴリズムにおける分布マッチングの視点
• Abstract要約: 本稿では,現代の大規模言語モデル開発における様々な段階にわたって,アルゴリズムを訓練するための統一的なフレームワークを提案する。 言語モデル学習アルゴリズムの幅広いクラスは、現在のモデルと対象分布との相違を最小限に抑えるものとして解釈できることを示す。
• 参考スコア（独自算出の注目度）: 10.866308029543495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we propose a unified framework for training algorithms across different stages of modern large language model development, based on the perspective of distribution matching. We show that a broad class of language model training algorithms can be interpreted as minimizing a certain divergence between the current model and a target distribution, and that characterizing the properties of this target distribution provides substantial insight into the behavior of the corresponding training algorithms. By analyzing specific forms of the target distribution, we establish that On-Policy Distillation (OPD) enjoys an advantage over classical Knowledge Distillation (KD) when the current model distribution is close to the target distribution, while exhibiting a disadvantage when the two distributions are far apart. Furthermore, when the target distribution itself depends on the model being optimized, we show that the accumulation of estimation variance can induce a deterministic degradation of the target distribution. These results provide a theoretical explanation, at least in part, for the long-term behavior of existing Reinforcement Learning (RL) algorithms. With this intuition we further designed Conditional KL (CKL) regularization for mitigating the degradation of the target distribution. CKL can effectively preserve mode diversity while relaxing the constraint imposed by classical KL regularization on reward improvements. We believe this theoretical perspective can bring some new understanding of language model training algorithms and provide useful guidance for future research.
• Abstract（参考訳）: 本研究では,分散マッチングの観点から,現代の大規模言語モデル開発における様々な段階のアルゴリズムを学習するための統一的なフレームワークを提案する。 言語モデル学習アルゴリズムの幅広いクラスは、現在のモデルと対象分布との相違を最小化するものとして解釈でき、このターゲット分布の特性を特徴付けることは、対応する学習アルゴリズムの挙動についてかなりの洞察を与えることを示す。 対象分布の特定の形態を解析することにより、現在のモデル分布が目標分布に近い場合、オン・ポリシィ蒸留(OPD)が古典的知識蒸留(KD)よりも有利であることを示す。 さらに、対象分布自体が最適化されるモデルに依存している場合、推定分散の蓄積が対象分布の決定論的劣化を引き起こすことを示す。 これらの結果は、少なくとも部分的には、既存の強化学習(RL)アルゴリズムの長期的な動作に関する理論的説明を提供する。 この直感により、ターゲット分布の劣化を緩和する条件付きKL(CKL)正則化をさらに設計した。 CKLは、古典的なKL正規化による報酬改善の制約を緩和しつつ、モードの多様性を効果的に維持することができる。 この理論的な視点は、言語モデルトレーニングアルゴリズムの新たな理解をもたらし、将来の研究に有用なガイダンスを提供することができると信じている。

関連論文リスト

• MaD-RL: Matching Distributions for Calibrating LLMs with Reinforcement Learning [10.94951183473375]
  強化学習(Reinforcement Learning, RL)は、個々のモデル出力に割り当てられた報酬を最大化するために、言語モデルポストトレーニングで広く使われている。 モデル出力の潜在カテゴリ属性の分布と所定のターゲット分布とを一致させることができる、textitDistribution Matchingのための一般的なRLベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-12T11:12:59Z)
• Aligning Latent Spaces with Flow Priors [72.24305287508474]
  本稿では,学習可能な潜在空間を任意の目標分布に整合させるための新しいフレームワークを提案する。 特に,提案手法は計算コストの高い確率評価を排除し,最適化時のODE解決を回避する。
  論文  参考訳（メタデータ） (2025-06-05T16:59:53Z)
• A Distributional Analogue to the Successor Representation [54.99439648059807]
  本稿では,分散強化学習のための新しい手法を提案する。 学習プロセスにおける遷移構造と報酬のクリーンな分離を解明する。 実例として,ゼロショットリスクに敏感な政策評価が可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-13T15:35:24Z)
• Are Uncertainty Quantification Capabilities of Evidential Deep Learning a Mirage? [35.15844215216846]
  EDL法は,特定の目的関数を最小化することにより,予測分布上のメタ分布を学習する。 近年の研究では、学習した不確実性は信頼できないと結論づける既存の方法の限界が特定されている。 本研究では,多種多様な目的関数を統一することにより,多種多様なEDL手法の挙動をより深く理解する。 我々は,EDL法が下流タスクに実証的に有効であるとしても,不確実な定量化能力に乏しいにもかかわらず,これは発生すると結論付けた。
  論文  参考訳（メタデータ） (2024-02-09T03:23:39Z)
• Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
  政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。 モデルに基づくベイズ強化学習の観点から問題を考察する。 本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
  論文  参考訳（メタデータ） (2023-08-12T14:59:19Z)
• Aligning Language Models with Preferences through f-divergence Minimization [4.952674870169772]
  f-DPGは、評価可能な任意のターゲット分布を近似するために、任意のf分割を使用することができる。 本稿では,Jensen-Shannon発散がこれらの目的のバランスを良好に保ち,KL発散を広いマージンで上回っていることを示す。
  論文  参考訳（メタデータ） (2023-02-16T10:59:39Z)
• Personalized Trajectory Prediction via Distribution Discrimination [78.69458579657189]
  トラリミー予測は将来の力学のマルチモーダルな性質を捉えるジレンマと対立する。 本研究では,パーソナライズされた動作パターンを予測するDisDisDis(Disdis)手法を提案する。 本手法は,プラグイン・アンド・プレイモジュールとして既存のマルチモーダル予測モデルと統合することができる。
  論文  参考訳（メタデータ） (2021-07-29T17:42:12Z)
• A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
  定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
  論文  参考訳（メタデータ） (2020-03-27T05:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。