論文の概要: Information-Theoretic Scaling Laws for Generative Diffusion Training

• arxiv url: http://arxiv.org/abs/2610.33337v1
• Date: Fri, 23 Oct 2026 22:21:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.303807
• Title: Information-Theoretic Scaling Laws for Generative Diffusion Training
• Title（参考訳）: 生成拡散訓練のための情報理論スケーリング法則
• Abstract要約: 実際には、有限データに基づいてトレーニングされたモデルは、特定のトレーニングデータセットに依存する。 この依存が、記憶やサンプル品質などのモデル出力の特性にどのように反映されているかを示す。 本研究は,拡散モデルにおけるメモリ化とサンプル品質スケーリング則に関する情報理論の原理を実証するものである。
• 参考スコア（独自算出の注目度）: 19.148143434726478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models trained on increasingly large datasets sampled from the same data distribution will converge to the same learned distribution. However, in practice, a model trained on finite data depends on the particular training dataset; this dependence is reflected in properties of the model's outputs, such as memorization and sample quality. To understand this dependence through an information-theoretic lens, we study \textit{model information}, a computationally tractable measure of how much samples from the trained model depend on the particular training dataset. We explore its scaling behavior as model size and training dataset size vary. Specifically, we uncover two qualitatively distinct scaling regimes: (1) a nonlinear model information regime marking the transition from pure memorization to imperfect generalization, and (2) a generalization regime characterized by linear scaling of the model information and progressively improved generalization and sample quality. We then posit an information-theoretically principled scaling law to quantify these two regimes, and show that this law yields induced scaling laws for memorization and sample quality. We finally demonstrate that these induced scaling laws extrapolate well outside the fit's domain. Our results demonstrate information-theoretic principles for memorization and sample quality scaling laws in diffusion models. Our code is publicly available on \href{https://github.com/DruvPai/diffusion_info_theory_scaling_law}{GitHub}.
• Abstract（参考訳）: 同じデータ分布からサンプリングされた大規模なデータセットに基づいてトレーニングされた拡散モデルは、同じ学習された分布に収束する。 しかし、実際には、有限データに基づいて訓練されたモデルは特定のトレーニングデータセットに依存し、この依存は記憶やサンプルの品質といったモデルの出力の特性に反映される。 この依存を情報理論レンズを用いて理解するために,訓練されたモデルからのサンプルが特定のトレーニングデータセットに依存するかを計算的に抽出可能な測度である「textit{model information}」について検討した。 モデルサイズとトレーニングデータセットサイズが異なるため、スケーリングの振る舞いについて検討する。 具体的には,(1)純記憶から不完全な一般化への移行を示す非線形モデル情報体系,(2)モデル情報の線形スケーリングを特徴とし,一般化とサンプル品質を漸進的に改善した一般化体制の2つを明らかにする。 次に、これらの2つの体制を定量化するために、情報理論的に原則化されたスケーリング法を仮定し、この法則が記憶とサンプル品質のスケーリング法則を誘導することを示す。 最終的に、これらの誘導スケーリング法則が適合領域の外側で十分に外挿されていることを実証した。 本研究は,拡散モデルにおけるメモリ化とサンプル品質スケーリング則に関する情報理論の原理を実証するものである。 私たちのコードは、 \href{https://github.com/DruvPai/diffusion_info_theory_scaling_law}{GitHub}で公開されています。

関連論文リスト

• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Scaling Laws Revisited: Modeling the Role of Data Quality in Language Model Pretraining [13.89166201149496]
  本稿では,モデルサイズ,データボリューム,データ品質の結合関数として損失を予測するため,Chinchillaフレームワークを拡張した品質対応スケーリング法を提案する。 データ品質による損失スケールが予測可能であり,高品質なデータにより,モデルサイズを大幅に削減し,従って計算要求を低減できることを示す。
  論文  参考訳（メタデータ） (2025-09-30T22:45:06Z)
• Learning to Weight Parameters for Training Data Attribution [62.830878652285406]
  本稿では,アノテートラベルを必要とせず,パラメータ重み付けをデータから直接明示的に学習する手法を提案する。 提案手法は,画像分類,言語モデリング,拡散など多種多様なタスクに対する帰属精度を向上し,主題やスタイルといった概念に対する微粒な帰属を可能にする。
  論文  参考訳（メタデータ） (2025-06-06T00:32:04Z)
• Scaling Laws for Robust Comparison of Open Foundation Language-Vision Models and Datasets [5.8465717270452195]
  モデルとデータセットの比較において,スケール法則の導出がいかに有効かを示す。 初めて、CLIPとMaMMUTという2つの重要な言語ビジョン学習手順のために、完全なスケーリング法則が導出された。 一定の学習率のスケジュールでスケーリング法則を導出する場合も比較が可能であることを示す。
  論文  参考訳（メタデータ） (2025-06-05T03:35:59Z)
• Information-Theoretic Foundations for Neural Scaling Laws [20.617552198581024]
  我々は、ニューラルスケーリング法則のための情報理論の基礎を開発する。 データとモデルサイズの間の最適関係は、対数的要因まで線形であることが観察された。
  論文  参考訳（メタデータ） (2024-06-28T02:20:54Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• Scaling Laws For Dense Retrieval [22.76001461620846]
  本研究は,高密度検索モデルの性能が他のニューラルモデルと同様のスケーリング法則に従うかどうかを考察する。 その結果、我々の設定下では、高密度検索モデルの性能は、モデルサイズとアノテーション数に関連する正確なパワーロースケーリングに従っていることがわかった。
  論文  参考訳（メタデータ） (2024-03-27T15:27:36Z)
• A Solvable Model of Neural Scaling Laws [72.8349503901712]
  大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。 我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。 主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
  論文  参考訳（メタデータ） (2022-10-30T15:13:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。