論文の概要: Multi-Objective Learning for Diffusion Models: A Statistical Theory under Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2605.25210v1
• Date: Sun, 24 May 2026 18:19:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.970098
• Title: Multi-Objective Learning for Diffusion Models: A Statistical Theory under Semi-Supervised Learning
• Title（参考訳）: 拡散モデルのための多目的学習:半教師付き学習における統計的理論
• Authors: Ziheng Cheng, Yixiao Huang, Hanlin Zhu, Haoran Geng, Somayeh Sojoudi, Jitendra Malik, Pieter Abbeel, Xin Guo,
• Abstract要約: 我々は、限られたデータを持つ拡散モデルのための原則的MOLフレームワークを開発する。 限られたペアデータから,まず軽量なスペシャリストモデルに適合する2段階のトレーニング手順を提案する。 与えられたペアサンプルの個数は、専門モデルクラスの複雑さにのみ依存することを示す境界一般化を確立する。
• 参考スコア（独自算出の注目度）: 83.65494573724904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models are increasingly used as powerful conditional generators, yet real deployments often involve multiple target distributions arising from different tasks, e.g., diverse prompt domains in text-to-image generation, or multiple environments in robotics with diffusion policies. This naturally leads to a multi-objective learning (MOL) problem. A key challenge is that achieving good Pareto trade-offs can require a generalist model class with substantially larger capacity than what suffices for solving any individual task, thereby increasing statistical cost since sample complexity typically scales with the model complexity. To reconcile this, we develop a principled MOL framework for diffusion models with limited data: a semi-supervised regime where paired (labeled) samples are scarce, but (unlabeled) condition data are abundant. We propose a two-stage training procedure that first fits lightweight specialist models from limited paired data, and then distills them into a generalist model by generating pseudo-samples. We establish generalization bounds showing that the required number of paired samples only depends on the complexity of the specialist model classes. We further extend the theory to diffusion policies for sequential decision making to account for distribution shift in on-policy rollouts. Extensive experiments on robotic control and image restoration tasks are conducted to verify our theoretical results.
• Abstract（参考訳）: 拡散モデルは、強力な条件付きジェネレータとしてますます使われているが、実際のデプロイは、例えば、テキスト・ツー・イメージ生成における多様なプロンプトドメイン、あるいは拡散ポリシーを持つロボット工学における複数の環境など、様々なタスクから生じる複数のターゲット分布を含むことが多い。 これは自然に多目的学習(MOL)問題につながる。 重要な課題は、優れたParetoトレードオフを達成するには、個々のタスクを解くのに十分であるものよりもはるかに大きな容量を持つジェネリストモデルクラスが必要であるため、サンプルの複雑さがモデル複雑性と通常スケールするため、統計的コストが増加することである。 そこで本研究では,ペア(ラベル付き)サンプルが乏しいが(ラベル付き)条件データが豊富である半教師付きレシエーションという,限られたデータしか持たない拡散モデルのための基本的MOLフレームワークを開発する。 本稿では,まず,限られたペアデータから軽量なスペシャリストモデルを抽出し,擬似サンプルを生成して一般モデルに抽出する2段階の訓練手順を提案する。 一般化境界を定め、必要なペアサンプルの個数は、専門モデルクラスの複雑さにのみ依存することを示す。 さらに、政策上の展開の分散シフトを考慮したシーケンシャルな意思決定のための拡散政策にも拡張する。 ロボット制御および画像復元タスクに関する広範囲な実験を行い、理論結果の検証を行った。

関連論文リスト

• A theory of learning data statistics in diffusion models, from easy to hard [11.841482748098327]
  自然画像上で訓練された拡散モデルは、高次相関に特化する前に、単純でペアワイズな入力統計を学習し、分布の単純さのバイアスを示すことを示す。 我々は、この振る舞いを、最小限のデータモデル、混合累積モデルで訓練された単純なデノイザで再現する。 我々の研究は拡散モデルが複雑性の増大する分布を学習する方法の鍵となるメカニズムを記述している。
  論文  参考訳（メタデータ） (2026-03-13T11:07:01Z)
• Deep Multivariate Models with Parametric Conditionals [47.20275199636936]
  確率変数の不均一な集合に対する深層多変量モデルについて考察する。 本稿では,各変数群に対する条件付き確率分布を用いて,共同確率分布を表現することを提案する。 それらの学習は、その制限分布のデータ確率を最大化することにより、パラメトリドマルコフ連鎖カーネルのトレーニングとしてアプローチすることができる。
  論文  参考訳（メタデータ） (2026-02-02T11:01:48Z)
• A Theory for Conditional Generative Modeling on Multiple Data Sources [20.539424639329564]
  本稿では,条件付き生成モデルにおけるマルチソース学習の厳密な分析に向けての第一歩を踏み出す。 この結果から,ソース分布が類似点を共有し,モデルが十分に表現可能である場合,マルチソーストレーニングは単一ソーストレーニングよりもシャープなバウンドを保証できることがわかった。
  論文  参考訳（メタデータ） (2025-02-20T14:13:24Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Distributional Successor Features Enable Zero-Shot Policy Optimization [36.53356539916603]
  本研究は、ゼロショットポリシー最適化のための分散継承機能(DiSPO)という、新しいモデルのクラスを提案する。 DiSPOは、定常データセットの行動ポリシーの後継機能の分布と、データセット内で達成可能な異なる後継機能を実現するためのポリシーを学ぶ。 データセットの長期的な結果を直接モデル化することにより、DiSPOは、報酬関数をまたいだゼロショットポリシー最適化のための単純なスキームを実現しつつ、複雑なエラーを避けることができる。
  論文  参考訳（メタデータ） (2024-03-10T22:27:21Z)
• Beyond DAGs: A Latent Partial Causal Model for Multimodal Learning [80.44084021062105]
  本稿では,非方向エッジで連結された2つの潜在結合変数を特徴とする,多モーダルデータに対する新しい潜在部分因果モデルを提案する。 特定の統計的仮定の下では、多モーダル・コントラッシブ・ラーニングによって学習された表現が、自明な変換までの潜在結合変数に対応することを示す。 事前トレーニングされたCLIPモデルの実験は、非絡み合った表現を具現化し、数ショットの学習を可能にし、さまざまな現実世界のデータセットにわたるドメインの一般化を改善する。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。