論文の概要: Sample What You Say: Aligning Language Models to Sample the Distributions They State

• arxiv url: http://arxiv.org/abs/2609.34929v1
• Date: Mon, 28 Sep 2026 11:26:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:42:02.637218
• Title: Sample What You Say: Aligning Language Models to Sample the Distributions They State
• Title（参考訳）: あなたが言うサンプル:言語モデルを調整して、彼らが言う分散をサンプリングする
• Abstract要約: 対象の分布を有限個の結果集合上で一致させるモデルを訓練する。 未知の目標分布では、目撃者による訓練により、目標への全変動距離が大幅に減少する。
• 参考スコア（独自算出の注目度）: 22.06410760205191
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are increasingly used to sample from a specified distribution, for instance, to simulate survey respondents or generate synthetic data. Instruction-tuned models can state such a distribution correctly and still fail to sample from it. Prompting and changes to decoding reduce this mismatch only partly, which motivates training with policy optimization. Group relative policy optimization (GRPO) is a natural fit for this problem because it already samples a group of rollouts per prompt, and the group's empirical distribution can be compared with the target. However, scoring the group as a whole gives every rollout the same reward. Group-relative centering then sets all advantages to zero, and the model receives no learning signal. To give each rollout its own signal, we introduce the witness advantage, a per-rollout advantage derived from maximum mean discrepancy (MMD). It trains a model to match a target distribution over a finite set of outcomes. The MMD between the model's distribution and the target has a witness function that measures how over- or under-produced each outcome is. Each rollout's advantage estimates the negative witness at its outcome, so a rollout is rewarded for an outcome the group under-produces and penalized for one it over-produces. The witness advantage is computed in closed form from the group's outcome counts, and we use it as the reward in GRPO. On unseen target distributions, training with the witness advantage substantially reduces the total variation distance to the target while largely preserving the model's general capabilities.
• Abstract（参考訳）: 言語モデルは、例えば、特定の分布からサンプルを採取し、アンケートの回答者をシミュレートしたり、合成データを生成するために、ますます使われています。 インストラクションチューニングされたモデルは、そのような分布を正しく表現することができ、まだサンプル化に失敗する。 プロンプトとデコードの変更は、このミスマッチを部分的に減らし、ポリシー最適化によるトレーニングを動機付けます。 グループ相対ポリシー最適化(GRPO)は、すでにプロンプト毎のロールアウトのグループをサンプリングしており、グループの経験的分布をターゲットと比較できるため、この問題に自然に適合する。 しかし、グループ全体の得点は、すべてのロールアウトに同じ報酬を与える。 グループ相対中心化はゼロにすべての利点を課し、モデルは学習信号を受け取らない。 それぞれのロールアウトにそれぞれ独自の信号を与えるため,最大平均誤差(MMD)から得られる,ロールアウト当たりの優位性である証人的優位性を導入する。 有限結果集合上の対象分布に一致するようにモデルを訓練する。 モデルの分布とターゲットの間のMDDは、それぞれの結果がどのように過大もしくは過小生産されているかを測定する証人機能を持つ。 各ロールアウトの利点は、その結果における負の目撃者を推定するので、ロールアウトは、グループが過度に生産する結果に対して報われ、過度に生産する結果に対して罰せられる。 目撃者の優位性は、グループの結果から閉じた形で計算され、GRPOの報酬として使用します。 未確認のターゲット分布では、目撃者の優位性によるトレーニングは、モデルの一般的な能力を保ちながら、ターゲットへの全変動距離を大幅に削減する。

関連論文リスト

• UnpredictaBench: A Benchmark for Evaluating Distributional Randomness in LLMs [21.05820098186702]
  我々はUnpredictaBenchを紹介した。これは、大きな言語モデルが真の基礎となる分布をキャプチャする能力をテストする評価である。 単純な分布シミュレーションでさえも困難であり、複雑なシステムのスタンドインとしてLLMを使用するための第一歩となる。
  論文  参考訳（メタデータ） (2026-06-04T18:18:02Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• BRIO: Bringing Order to Abstractive Summarization [107.97378285293507]
  非決定論的分布を前提とした新しい学習パラダイムを提案する。 提案手法は, CNN/DailyMail (47.78 ROUGE-1) と XSum (49.07 ROUGE-1) のデータセット上で, 最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-03-31T05:19:38Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• One for More: Selecting Generalizable Samples for Generalizable ReID Model [92.40951770273972]
  本稿では,選択したサンプルを損失関数として一般化する1対3の学習目標を提案する。 提案した1対3のサンプルは,ReIDトレーニングフレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2020-12-10T06:37:09Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。