論文の概要: Where does output diversity collapse in post-training?

• arxiv url: http://arxiv.org/abs/2604.16027v1
• Date: Fri, 17 Apr 2026 12:56:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.922466
• Title: Where does output diversity collapse in post-training?
• Title（参考訳）: ポストトレーニングにおけるアウトプットの多様性はどこで崩壊するのか?
• Authors: Constantinos Karouzos, Xingwei Tan, Nikolaos Aletras,
• Abstract要約: 訓練後の言語モデルでは、ベースモデルよりも出力の多様性が低い。 この出力の多様性の崩壊は、様々なサンプルに依存する推論時間スケーリング手法を損なう。
• 参考スコア（独自算出の注目度）: 28.406449942947315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-trained language models produce less varied outputs than their base counterparts. This output diversity collapse undermines inference-time scaling methods that rely on varied samples, and risks homogenizing model outputs on creative and value-laden tasks. Prior work attributes collapse to specific post-training methods, without separating the role of training data composition from the method, or the generation format from the model weights. We trace output diversity through three parallel post-training lineages of Olmo 3, Think (chain-of-thought distillation), Instruct (broad multi-source data), and RL-Zero, across 15 tasks and four text diversity metrics. We find that the location of collapse co-varies with data composition: the Think lineage loses most semantic diversity at supervised fine-tuning, and the effect of DPO is larger in Instruct than in Think. Suppressing chain-of-thought reasoning at inference in Think models drops accuracy on hard tasks, yet leaves answer-level diversity unchanged, showing that the collapse is embedded in the model weights by training data, not imposed by the generation format. Decomposing diversity loss on six verifiable tasks into a quality-control component (removal of incorrect outputs) and a residual component (genuine narrowing among correct outputs) reveals that the split is task-dependent, and Think models retain more correct-answer diversity than Instruct despite collapsing more in aggregate. Our results indicate that diversity collapse is determined during training by data composition and cannot be addressed at inference time alone.
• Abstract（参考訳）: 訓練後の言語モデルでは、ベースモデルよりも出力の多様性が低い。 この出力の多様性の崩壊は、様々なサンプルに依存する推論時間スケーリングの手法を損なうとともに、創造的で価値に富んだタスクでモデル出力を均質化するリスクを負う。 事前の作業属性は、トレーニング後の特定の方法に崩壊するが、トレーニングデータ構成の役割をメソッドから分離したり、モデル重みから生成フォーマットを分離する必要はない。 我々は,15のタスクと4つのテキストの多様性の指標から,Olmo 3,Think(チェーン・オブ・シンク蒸留),Instruct(マルチソースデータ),RL-Zeroの3つの並列学習後系統を通して,出力の多様性をトレースした。 シンク系統は、教師付き微調整において最も意味的な多様性を失い、DPOの効果はシンクよりもインストラクションにおいて大きい。 思考モデルにおける推論における連鎖推論の抑制は、ハードタスクの精度を低下させるが、回答レベルの多様性は変わらないままであり、崩壊が生成形式によって課されるのではなく、トレーニングデータによってモデルの重みに埋め込まれていることを示している。 6つの検証可能なタスクの多様性損失を品質制御コンポーネント(不正なアウトプットの除去)と残留コンポーネント(正しいアウトプットの全体的絞り込み)に分解すると、分割がタスク依存であることが明らかとなり、Thinkモデルは集約されたにもかかわらずInstructよりも正確な回答の多様性を維持している。 以上の結果から,データ構成によるトレーニング中に多様性の崩壊が決定され,推論時間のみでは対処できないことが示唆された。

関連論文リスト

• Not All Layers Need Tuning: Selective Layer Restoration Recovers Diversity [12.556307629726854]
  トレーニング後モデルで選択した層をトレーニング前の重みに復元する,トレーニング不要な手法を提案する。 SLRは、高い出力品質を維持しながら、出力の多様性を一貫して、実質的に向上させることができる。
  論文  参考訳（メタデータ） (2026-02-06T12:49:13Z)
• Mind the Gap: Conformative Decoding to Improve Output Diversity of Instruction-Tuned Large Language Models [0.0]
  本稿では,物語生成作業における「多様性ギャップ」について検討する。 その結果,指導指導による多様性の低下が認められた。 本稿では、より多様なベースモデルを用いてインストラクションモデルを誘導し、出力の多様性を再導入する新しいデコーディング戦略であるコンストラクティブデコーディングを提案する。
  論文  参考訳（メタデータ） (2025-07-28T16:04:25Z)
• The Price of Format: Diversity Collapse in LLMs [32.616432249190716]
  大きな言語モデル(LLM)は、推論中にフォーマットの一貫性を強制するためにロールマーカーや特別なトークンのような構造化テンプレートを使用する。 我々は,この効果をストーリー補完やフリーフォーム生成といったタスクにわたって体系的に評価し,高温サンプリングにおいても多様性の崩壊が持続することを示した。 これらの知見を文脈化するために、構造化されたプロンプトを用いて同じモデルを微調整し、下流タスク性能、アライメント行動、出力多様性の3つの軸で評価する。
  論文  参考訳（メタデータ） (2025-05-25T02:52:35Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [104.60508550106618]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Junk DNA Hypothesis: Pruning Small Pre-Trained Weights Irreversibly and Monotonically Impairs "Difficult" Downstream Tasks in LLMs [66.70431182736787]
  大型言語モデル(LLM)の重みには、かなりの冗長性が含まれていると信じられている。 本稿では,下流の難題に対処する上で必要となる重要な知識を包含する,事前訓練されたモデル重みの小さなマグニチュード重みについて述べる。
  論文  参考訳（メタデータ） (2023-09-29T22:55:06Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• DVERGE: Diversifying Vulnerabilities for Enhanced Robust Generation of Ensembles [20.46399318111058]
  敵攻撃は、小さな摂動でCNNモデルを誤解させる可能性があるため、同じデータセットでトレーニングされた異なるモデル間で効果的に転送することができる。 非破壊的特徴を蒸留することにより,各サブモデルの逆脆弱性を分離するDVERGEを提案する。 新たな多様性基準とトレーニング手順により、DVERGEは転送攻撃に対して高い堅牢性を達成することができる。
  論文  参考訳（メタデータ） (2020-09-30T14:57:35Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。