Multi-Objective Learning for Diffusion Models: A Statistical Theory under Semi-Supervised Learning
Abstractの概要
本論文は、ペアデータが限られている一方で条件のみのデータが豊富にある場合の、条件付き拡散モデルにおける多目的学習を研究している。著者らは複数のターゲット分布にわたるパレート最適性を通じて問題を定式化し、2段階の半教師あり手順を提案している：希少なペアデータで軽量なスペシャリストモデルを訓練し、その後疑似ペアを生成してより大規模なジェネラリストモデルを訓練する。この理論は、スコアマッチングのための非漸近的な汎化境界と対応する分布推定の保証を提供し、ペアサンプルの要件が大規模なジェネラリストクラスではなくスペシャリストの複雑さにどのように依存するかを強調している。この分析は、オンポリシーのロールアウトが分布シフトを引き起こす逐次的意思決定における拡散ポリシーにも拡張されている。ロボットマニピュレーションと画像修復の実験を用いて、予測されたサンプル効率の利点が実際に現れるかを確認している。
新規性
特徴的な貢献は、スペシャリストからジェネラリストへの訓練フレームワークを中心とした、拡散モデルにおける半教師あり多目的学習の統計理論である。本論文はまた、この分析を分布シフト下の拡散ポリシーに拡張し、模倣学習における拡散ポリシーの準最適性ギャップに関する初の理論的保証と説明されるものを提示している。
成果
主な理論的結果は、提案された2段階の手順の下で、必要なペアサンプル数がスペシャリストクラスの複雑さに比例する一方で、豊富なラベルなし条件がより大規模なジェネラリストの訓練をサポートすることである。線形スカラー化において本論文はより鋭いレートを導出し、拡散ポリシーに対してはオンポリシー分布シフト下での準最適性保証を提供している。実証的には、この半教師あり手法はロボティクスと画像修復の両方の設定において、一部の分布外ロボティクス評価におけるより強い改善を含め、ラベル付きのみのマルチタスクベースラインを上回る性能を示している。
論文の注目点
- 2段階の半教師ありパイプラインにより、限られたペアデータから目的ごとのスペシャリスト拡散モデルを訓練し、豊富なラベルなし条件上の疑似サンプルを用いてそれらをジェネラリストに蒸留する。
- 分析により汎化と全変動の保証が与えられ、ペアサンプルの複雑さが、より大規模なジェネラリストクラスではなく、スペシャリストモデルの複雑さに結びついていることが示され、線形スカラー化の際にはより良いレートが得られる。
- ロボットマニピュレーションとCelebA-HQの修復実験により、ラベル付きデータのみの多目的学習ベースラインに対する一貫した改善が示され、この理論はロールアウト誘発性の分布シフトに直面する拡散ポリシーにも拡張されている。