論文の概要: Do Large Language Models Capture the Diversity in their Training Data?
- arxiv url: http://arxiv.org/abs/2609.02275v1
- Date: Wed, 02 Sep 2026 08:21:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.15937
- Title: Do Large Language Models Capture the Diversity in their Training Data?
- Title（参考訳）: 大規模言語モデルはトレーニングデータに多様性を捉えているか?
- Abstract要約: 大規模言語モデルが学習データに含まれる可算出力の多様性をフルに捉えているかどうかを考察する。
本稿では,各入力に対して複数の出力を生成し,行列エントロピー投影により重み付けするポストホック補正機構を提案する。
この結果から,現代の生成モデルとトレーニングデータとの間には,体系的な条件的多様性のギャップが明らかとなり,このギャップを計測・緩和するための情報理論の枠組みが提供される。
- 参考スコア（独自算出の注目度）: 18.198091804236782
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are trained to model conditional distributions over text, yet it remains inadequately understood whether they capture the full diversity of plausible outputs present in their training data. We study this question through an information-theoretic lens by comparing the conditional entropy of model-generated outputs with that of the corresponding training data. Given paired input-output samples, we use conditional entropy and its matrix-based analogue based on von Neumann entropy to measure output variability beyond what is explained by the conditioning input, without requiring multiple reference outputs for the same prompt. Across LLM families with publicly available training data, including OLMo, Pythia, and GPT-Neo, we consistently find that model-generated outputs exhibit lower conditional entropy than their training data, across different model scales, sequence lengths, and decoding strategies. We observe a similar conditional diversity gap beyond language modeling, including class-conditioned ImageNet generators and text-conditioned models trained on MS-COCO. To address this gap, we propose a post-hoc correction mechanism that generates multiple outputs for each input and reweights them through a matrix-entropy projection, increasing conditional diversity while remaining close to the original model distribution. We prove the concavity of the matrix-based conditional entropy functional, which makes the resulting entropy-constrained projection a convex optimization problem, and develop a scalable mirror-descent algorithm for its implementation. Our results reveal a systematic conditional diversity gap between modern generative models and their training data, and provide an information-theoretic framework for measuring and mitigating this gap.
- Abstract（参考訳）: 大規模言語モデルは、テキスト上で条件分布をモデル化するように訓練されているが、トレーニングデータに存在する可算出力の完全な多様性を捉えているかどうかについては、十分に理解されていない。
モデル生成出力の条件エントロピーと対応するトレーニングデータの条件エントロピーを比較することで,情報理論レンズを用いてこの問題を考察する。
ペア化された入力出力サンプルが与えられた場合、条件付きエントロピーとフォン・ノイマンエントロピーに基づく行列ベースのアナログを用いて、同じプロンプトに対して複数の参照出力を必要とせず、条件付き入力によって説明されるものを超えて出力の変動を測定する。
OLMo,Pythia,GPT-Neoなど,一般に利用可能なトレーニングデータを持つLLMファミリー全体では,モデル生成出力がトレーニングデータよりも低い条件エントロピーを示し,異なるモデルスケール,シーケンス長,デコード戦略にまたがる。
クラス条件のImageNetジェネレータやMS-COCOで訓練されたテキスト条件のモデルなど,言語モデリング以外の条件の多様性のギャップを観察する。
このギャップに対処するために,各入力に対して複数の出力を生成し,行列エントロピー投影により重み付けするポストホック補正機構を提案する。
行列ベースの条件付きエントロピー関数の凹凸性を証明し、その結果のエントロピー制約された射影を凸最適化問題とし、その実装にスケーラブルなミラー・ディフレッシブアルゴリズムを開発した。
この結果から,現代の生成モデルとトレーニングデータとの間には,体系的な条件的多様性のギャップが明らかとなり,このギャップを計測・緩和するための情報理論の枠組みが提供される。
関連論文リスト
- Diffusion models for multivariate subsurface generation and efficient probabilistic inversion [0.0]
拡散モデルは、深い生成モデリングタスクのための安定したトレーニングと最先端のパフォーマンスを提供する。
本稿では拡散モデルに固有のノイズ汚染を考慮した近似法を提案する。
統計的ロバスト性は有意に向上し, 後部確率密度関数のサンプリングが向上した。
論文 参考訳（メタデータ） (2025-07-21T17:10:16Z) - Self-Refining Training for Amortized Density Functional Theory [5.5541132320126945]
そこで本稿では,自己修復学習戦略を導入することにより,大規模な事前コンパイルデータセットに対するアモータイズDFTソルバの依存性を低減する手法を提案する。
本手法は, 生成試料と基底状態エネルギーで定義される対象ボルツマン分布との差分を測定するKL偏差の変動上界の最小化として導出する。
論文 参考訳（メタデータ） (2025-06-02T00:32:32Z) - On conditional diffusion models for PDE simulations [53.01911265639582]
スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。
本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。
また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2024-10-21T18:31:04Z) - Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。
私たちのフレームワークは、3つの新しい目標のファミリーにつながります。
Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
論文 参考訳（メタデータ） (2024-10-10T17:18:30Z) - Masked Language Modeling Becomes Conditional Density Estimation for Tabular Data Synthesis [0.74454067778951]
Masked Modeling (MLM) の連続的多クラス分類タスクをヒストグラムに基づく条件密度推定として再定義し,MaCoDEを提案する。
目的変数と条件変数の任意の組み合わせで条件密度を推定できる。
提案モデルの有効性を検証するため,10個の実世界のデータセットにまたがる合成データ生成の性能を評価する。
論文 参考訳（メタデータ） (2024-05-31T03:26:42Z) - Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。
経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。
本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
論文 参考訳（メタデータ） (2024-03-18T17:08:24Z) - CoCoGen: Physically-Consistent and Conditioned Score-based Generative Models for Forward and Inverse Problems [1.0923877073891446]
この研究は生成モデルの到達範囲を物理的問題領域に拡張する。
基礎となるPDEとの整合性を促進するための効率的なアプローチを提案する。
各種物理課題におけるスコアベース生成モデルの可能性と汎用性を示す。
論文 参考訳（メタデータ） (2023-12-16T19:56:10Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳（メタデータ） (2023-01-23T15:18:54Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳（メタデータ） (2022-10-05T09:17:27Z) - A Graphical Model for Fusing Diverse Microbiome Data [2.385985842958366]
本稿では,このような数値データを共同でモデル化するフレキシブルな多項ガウス生成モデルを提案する。
本稿では、潜在変数とモデルのパラメータを推定するための、計算にスケーラブルな変動予測-最大化(EM)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-08-21T17:54:39Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳（メタデータ） (2020-10-24T07:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。