Fugu-MT 論文翻訳(概要): MaD-RL: Matching Distributions for Calibrating LLMs with Reinforcement Learning

論文の概要: MaD-RL: Matching Distributions for Calibrating LLMs with Reinforcement Learning

arxiv url: http://arxiv.org/abs/2609.31644v1
Date: Sat, 12 Sep 2026 11:12:59 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-08 14:23:02.960557
Title: MaD-RL: Matching Distributions for Calibrating LLMs with Reinforcement Learning
Title（参考訳）: MaD-RL:強化学習によるLLMの校正のためのマッチング分布
Abstract要約: 強化学習(Reinforcement Learning, RL)は、個々のモデル出力に割り当てられた報酬を最大化するために、言語モデルポストトレーニングで広く使われている。モデル出力の潜在カテゴリ属性の分布と所定のターゲット分布とを一致させることができる、textitDistribution Matchingのための一般的なRLベースのフレームワークを提案する。
参考スコア（独自算出の注目度）: 10.94951183473375
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reinforcement learning (RL) is widely used in language-model post-training to maximize rewards assigned to individual model outputs, such as scores from binary verifiers or reward models trained on human feedback. However, applications such as synthetic-data generation, fairness-related constraint satisfaction, and policy exploration require controlling the distribution of outputs across model generations rather than only maximizing expected reward. We propose a general RL-based framework for \textit{Distribution Matching} allowing matching the distribution of a latent categorical attribute of model outputs to a specified target distribution. Empirically, we demonstrate that dominant post-training recipes such as Group Relative Policy Optimization (GRPO) reduce output diversity by concentrating policy probability towards a single mode. Entropy regularization and sampling temperature can improve the spread of the distribution but have constrained effectiveness, limited to apply only in token space and toward uniform distributions. We show that prior work in this area is a specific case of Distribution Matching involving the $L_2$ divergence. We then propose reward functions for other divergences such as KL and Jensen-Shannon and motivate them with theoretical justification. Finally, we demonstrate the effectiveness of our approach on a set of experiments involving mathematical reasoning and programming.
Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、言語モデルポストトレーニングにおいて、バイナリ検証器のスコアや人間のフィードバックに基づいて訓練された報酬モデルなど、個々のモデル出力に割り当てられた報酬を最大化するために広く使用されている。しかし、合成データ生成、公正関連制約満足度、ポリシー探索といった応用では、期待される報酬を最大化するだけでなく、モデル世代間での出力の分配を制御する必要がある。本稿では,モデル出力の潜在カテゴリ属性の分布と所定のターゲット分布とを一致させるための一般RLベースのフレームワークを提案する。実験により,グループ相対政策最適化(GRPO)などの学習後レシピが,単一モードに政策確率を集中させることで,出力の多様性を低下させることが実証された。エントロピー正則化とサンプリング温度は分布の拡散を改善することができるが、トークン空間と均一分布にのみ適用できる制限された有効性を有する。この領域での事前の作業は、$L_2$の分散を含む分散マッチングの特定のケースであることを示す。次に、KL や Jensen-Shannon のような他の分岐に対する報酬関数を提案し、それらを理論的に正当化して動機づける。最後に、数学的推論とプログラミングを含む一連の実験に対して、本手法の有効性を実証する。

論文の概要: MaD-RL: Matching Distributions for Calibrating LLMs with Reinforcement Learning

関連論文リスト