論文の概要: PRISM: Promoting Sampling Diversity of Large Language Models with Implicit Stochastic Modulation
- arxiv url: http://arxiv.org/abs/2610.32101v1
- Date: Fri, 23 Oct 2026 03:04:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.331273
- Title: PRISM: Promoting Sampling Diversity of Large Language Models with Implicit Stochastic Modulation
- Title（参考訳）: PRISM: 難解な確率的変調による大規模言語モデルの多様性のサンプリングを促進する
- Abstract要約: PRISMはモデル内の多様性を内部化するトレーニングタイムフレームワークである。
すべてのモデルベンチマーク設定で最高の世代品質を達成する。
また、数学やコードベンチマークのサンプリング効率も向上する。
- 参考スコア（独自算出の注目度）: 8.705121638061387
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) exhibit mode collapse, where their output distribution concentrates on familiar semantic modes. When diversity disappears, repeated sampling becomes semantic repetition rather than discovery, making rare but stronger solutions unlikely to surface and leaving self-evolution and continual learning difficult to sustain. Most remedies intervene only at inference time, shaping sam- ples without making diversity a model capability. We propose PRISM, a training-time framework that internalizes diversity within the model. PRISM combines (i) submodular curation that pairs each prompt with diverse-yet-correct multi-teacher solutions, and (ii) stochastic embedding modulation, which turns special-token perturbations into implicit signals for sampling distinct outputs. A theoretical analysis establishes the stability of this mechanism. On WritingPrompts and BookMIA, PRISM moves the quality-diversity frontier outward, achieving the best generation quality in all model-benchmark settings while maintaining the strongest or near-strongest semantic diversity across two open-weight model families. It also improves sampling efficiency on math and code benchmarks. Beyond inference, PRISM yields a stronger foundation for reinforcement learning, sustaining diverse rollouts and mitigating the diversity collapse commonly observed during RL training.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、その出力分布がよく知られたセマンティックモードに集中するモード崩壊を示す。
多様性が消えると、繰り返しサンプリングは発見よりも意味的な繰り返しとなり、稀だが強い解決策が表面化しにくくなり、自己進化と継続的な学習が持続しにくくなる。
ほとんどの治療法は推論時にのみ介入し、多様性をモデル能力にすることなくサムプルを形成する。
モデル内の多様性を内部化するトレーニングタイムフレームワークであるPRISMを提案する。
PRISMが組み合わさる
(i)各プロンプトを多元的正当なマルチ教師ソリューションにペアリングする部分モジュラーキュレーション
(II)確率的埋め込み変調は、特別なトーケン摂動を暗黙の信号に変換し、異なる出力をサンプリングする。
理論的解析により、この機構の安定性が確立される。
writePrompts と BookMIA では、PRISM は品質多様性フロンティアを外向きに移動させ、全てのモデルベンチマーク設定において最高の生成品質を達成しつつ、2つのオープンウェイトモデルファミリで最強または最短のセマンティック多様性を維持します。
また、数学やコードベンチマークのサンプリング効率も向上する。
推論以外にも、PRISMは強化学習の基礎となり、多様なロールアウトを維持し、RLトレーニング中によく見られる多様性の崩壊を緩和する。
関連論文リスト
- Multi-Objective Learning for Diffusion Models: A Statistical Theory under Semi-Supervised Learning [83.65494573724904]
我々は、限られたデータを持つ拡散モデルのための原則的MOLフレームワークを開発する。
限られたペアデータから,まず軽量なスペシャリストモデルに適合する2段階のトレーニング手順を提案する。
与えられたペアサンプルの個数は、専門モデルクラスの複雑さにのみ依存することを示す境界一般化を確立する。
論文 参考訳（メタデータ） (2026-05-24T18:19:40Z) - Consistent Diffusion Language Models [22.253153649144476]
拡散言語モデル (DLMs) は、サブタイム、並列生成を約束するが、実用的ゲインは未解決のままである。
連続領域では、確率フローODEに沿った一貫性のトレーニングが拡散を加速する一般的なレシピである。
我々は,これらの橋を横断するパスイン予測をデノイザに訓練する新しい原理である,マルチパス離散整合性(DCMP)を導入する。
1つのCDLMの目的は、マスク拡散、連続一貫性モデル、進行/離散蒸留を1つの共通の見解の分析的限界または経験的近似として統一することである。
論文 参考訳（メタデータ） (2026-04-30T19:31:02Z) - Training-Free Generation of Diverse and High-Fidelity Images via Prompt Semantic Space Optimization [50.5332987313297]
本稿では,トレーニングフリーでモデルに依存しないモジュールであるToken-Prompt Embedding Space Optimization (TPSO)を提案する。
TPSOは、トークン埋め込み空間の未表現領域を探索するために学習可能なパラメータを導入し、学習された分布の強いモードからサンプルを繰り返し生成する傾向を減少させる。
MS-COCOと3つの拡散バックボーンの実験では、TPSOは画像品質を犠牲にすることなく、生成多様性を著しく向上し、ベースライン性能を1.10から4.18ポイントに改善した。
論文 参考訳（メタデータ） (2025-11-25T00:42:09Z) - Amplifying Prominent Representations in Multimodal Learning via Variational Dirichlet Process [55.91649771370862]
ディリクレ過程(DP)混合モデルは、最も顕著な特徴を増幅できる強力な非パラメトリック法である。
本稿では,DP駆動型マルチモーダル学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-23T16:53:24Z) - Post-training Large Language Models for Diverse High-Quality Responses [32.92680825196664]
強化学習 (Reinforcement Learning, RL) は,大規模言語モデル (LLM) の訓練後に一般的な手法として登場した。
決定点プロセス(DPP)に基づくDQO(Diversity Quality Optimization)という新しいトレーニング手法を提案する。
提案手法では,各プロンプトに対して応答群をサンプリングし,次にカーネルベースの類似度行列の行列式を用いて,これらの応答の埋め込みによって分散される体積として多様性を測定する。
論文 参考訳（メタデータ） (2025-09-05T03:47:06Z) - Jointly Reinforcing Diversity and Quality in Language Model Generations [64.72289248044514]
大規模言語モデル(LM)のポストトレーニングは、しばしば多様性を犠牲にして正確さと役に立つことを優先する。
DARling(Diversity-Aware Reinforcement Learning)は、応答品質とセマンティック多様性を協調的に最適化するフレームワークである。
論文 参考訳（メタデータ） (2025-09-02T17:38:47Z) - Evaluating the Diversity and Quality of LLM Generated Content [72.84945252821908]
品質閾値を満たす出力間の効果的な意味的多様性を測定するための枠組みを導入する。
嗜好調整モデルでは語彙的および構文的多様性が低下するが、SFTやベースモデルよりも効果的な意味的多様性が得られる。
これらの発見は、多種多様な高品質な出力を必要とするアプリケーションに重要な意味を持つ。
論文 参考訳（メタデータ） (2025-04-16T23:02:23Z) - Prompt as Free Lunch: Enhancing Diversity in Source-Free Cross-domain Few-shot Learning through Semantic-Guided Prompting [9.116108409344177]
ソースフリーのクロスドメイン数ショット学習タスクは、最小限のサンプルを使用して、トレーニング済みのモデルをターゲットのドメインに転送することを目的としている。
本稿では2つのフェーズに分けられるSeGD-VPTフレームワークを提案する。
最初のステップは、各サポートサンプルに多様性プロンプトを追加し、様々な入力を生成し、サンプルの多様性を高めることで、機能の多様性を高めることを目的としている。
論文 参考訳（メタデータ） (2024-12-01T11:00:38Z) - Conditional Generative Modeling via Learning the Latent Space [54.620761775441046]
マルチモーダル空間における条件生成のための新しい枠組みを提案する。
潜在変数を使って一般化可能な学習パターンをモデル化する。
推論では、潜伏変数は複数の出力モードに対応する最適解を見つけるために最適化される。
論文 参考訳（メタデータ） (2020-10-07T03:11:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。