論文の概要: Diffusion Transformers are Provably Optimal In-context Generators

• arxiv url: http://arxiv.org/abs/2610.05333v1
• Date: Sun, 04 Oct 2026 15:55:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 21:31:37.097117
• Title: Diffusion Transformers are Provably Optimal In-context Generators
• Title（参考訳）: 拡散変換器は、おそらく最適なインコンテキスト・ジェネレータである
• Abstract要約: 本稿では,Diffusion Transformer (DiT) が実験結果から新しいクエリの予測分布を学習し,生成する方法を示す。 まず、有限な実演から生成される自然な対象は、単一タスクの推定から得られる出力ではないことを示す。 次に,DiTは,実演情報や拡散情報を用いて,スコア推定により,この予測分布を学習し,サンプルを生成することを証明した。
• 参考スコア（独自算出の注目度）: 55.5348860869955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative foundation models are attracting interest for their ability to produce desired outputs from demonstrations given at inference time, without updating parameters. However, since a few demonstrations cannot uniquely identify the intended task, the challenge is how to learn and sample from an output distribution that reflects this task uncertainty. In this work, we theoretically analyze how a Diffusion Transformer (DiT), pretrained across diverse tasks, learns and generates predictive distributions for a new query from demonstrations. We first show that the natural target to generate from finite demonstrations is not an output derived from estimating a single task, but rather a predictive distribution that captures the task uncertainty remaining after observing the demonstrations. We then prove that a DiT can learn this predictive distribution through score estimation, using attention to aggregate information from demonstrations and diffusion to generate samples. Owing to this property, with sufficient pretraining resources and diffusion sampling steps, the resulting DiT achieves the minimax optimal rate over a Hölder class of test-time tasks. These results imply that DiT acts as a statistically grounded in-context generator capable of generating distributions adapted to new tasks while retaining the uncertainty inherent in finite demonstrations.
• Abstract（参考訳）: 生成基盤モデルは、パラメータを更新することなく、推論時に与えられたデモから望ましいアウトプットを生成する能力に注目されている。 しかし、いくつかのデモでは意図したタスクを識別できないため、このタスクの不確実性を反映した出力分布からどのように学習し、サンプリングするかが課題である。 本研究では,多種多様なタスクを事前訓練した拡散変換器(DiT)が,実験から新しいクエリに対して予測分布を学習し,生成する方法を理論的に分析する。 まず, 有限個の実演から生成する自然な対象は, 一つの課題を推定した結果ではなく, 実演観察後に残される課題の不確かさを推定する予測分布であることを示す。 次に,DiTは,実演情報や拡散情報を用いて,スコア推定により,この予測分布を学習し,サンプルを生成することを証明した。 この性質により、十分な事前学習資源と拡散サンプリングステップを持ち、結果として得られるDiTは、Hölderクラスのテストタイムタスクよりも極小極小率を達成する。 これらの結果は、DiTが有限な実演に固有の不確実性を保ちながら、新しいタスクに適応した分布を生成することができる統計的に基底化されたコンテキスト内生成器として機能することを示している。

関連論文リスト

• Catastrophic Compositional Generation: Why Vanilla Diffusion Models Fail to Extrapolate [16.740457845513358]
  提案手法は,特定の動機付けされた環境下で,ターゲット分布から効率的にサンプルを生成できない。 その結果, 目標分布が分布外である場合, スコア推定誤差は性能に破滅的な影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2026-06-22T20:34:26Z)
• Semantic Self-Distillation for Language Model Uncertainty [19.97226069762587]
  軽量な学生モデルでは,言語モデルが応答トークンを生成する前に,迅速な条件付き不確実性を推定できることを示す。 この分布のエントロピーは、幻覚予測のための効果的な不確実性信号を提供し、確率密度は、候補回答を信頼性のために評価することを可能にする。 TriviaQAでは,学生モデルが幻覚予測のための有限サンプルセマンティック分散に適合あるいは優れ,ドメイン外応答検出のための強い信号を提供する。
  論文  参考訳（メタデータ） (2026-02-04T14:03:28Z)
• Divergence-Free Diffusion Models for Incompressible Fluid Flows [0.0]
  生成拡散モデルは、教師なしおよび自己教師付き機械学習で広く利用されている。 本研究では,非圧縮性流体の数値シミュレーションへの応用について検討する。
  論文  参考訳（メタデータ） (2026-01-27T08:49:26Z)
• Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions [50.1404916337174]
  大規模言語モデル(LLM)における母国語の確率的サンプリングの大規模,統計的に活用された最初の監査について述べる。 バッチ生成は, ほぼ完全に崩壊する一方, 中央値のパスレートが13%であり, 統計的妥当性はわずかであることがわかった。 現在のLCMには機能的な内部サンプルが欠如しており、統計的保証を必要とするアプリケーションに外部ツールを使う必要があると結論付けている。
  論文  参考訳（メタデータ） (2026-01-08T22:33:12Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• User-defined Event Sampling and Uncertainty Quantification in Diffusion Models for Physical Dynamical Systems [49.75149094527068]
  拡散モデルを用いて予測を行い,カオス力学系に対する不確かさの定量化が可能であることを示す。 本研究では,雑音レベルが低下するにつれて真の分布に収束する条件付きスコア関数の確率的近似法を開発する。 推論時に非線形ユーザ定義イベントを条件付きでサンプリングすることができ、分布の尾部からサンプリングした場合でもデータ統計と一致させることができる。
  論文  参考訳（メタデータ） (2023-06-13T03:42:03Z)
• DisDiff: Unsupervised Disentanglement of Diffusion Probabilistic Models [42.58375679841317]
  拡散確率モデル(DPM)の解離という新たな課題を提案する。 この課題は、観測の背後にある固有の因子を自動的に発見し、DPMの勾配場を下位段階の磁場に分解することである。 そこで我々は,DPMの枠組みにおいて,不整合表現学習を実現するために,DisDiffという教師なしのアプローチを考案した。
  論文  参考訳（メタデータ） (2023-01-31T15:58:32Z)
• Mathematical analysis of singularities in the diffusion model under the submanifold assumption [0.0]
  後方サンプリングプロセスのドリフト項は、データ分布と前方拡散を含む条件予測として表現される。 トレーニングプロセスは,条件付き期待値に関連する平均2乗残差を最小化することにより,そのようなドリフト関数を求めることを目的としている。 DDPMにおける解析的平均ドリフト関数とSGMにおけるスコア関数が特異データ分布のサンプリングプロセスの最終段階に爆発的に現れることを示す。
  論文  参考訳（メタデータ） (2023-01-19T05:13:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。