論文の概要: Provable Sample-Efficient Transfer Learning Conditional Diffusion Models via Representation Learning

• arxiv url: http://arxiv.org/abs/2502.04491v1
• Date: Thu, 06 Feb 2025 20:39:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 18:29:32.922539
• Title: Provable Sample-Efficient Transfer Learning Conditional Diffusion Models via Representation Learning
• Title（参考訳）: 表現学習による予測可能な移動学習条件拡散モデル
• Authors: Ziheng Cheng, Tianyu Xie, Shiyue Zhang, Cheng Zhang,
• Abstract要約: 我々は,表現学習のレンズを通して,伝達学習条件拡散モデルのサンプル効率を理解するための第一歩を踏み出した。 本分析は,ソースタスクからの表現を十分に学習することにより,対象タスクのサンプル複雑度を大幅に低減できることを示す。
• 参考スコア（独自算出の注目度）: 27.7568230759712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While conditional diffusion models have achieved remarkable success in various applications, they require abundant data to train from scratch, which is often infeasible in practice. To address this issue, transfer learning has emerged as an essential paradigm in small data regimes. Despite its empirical success, the theoretical underpinnings of transfer learning conditional diffusion models remain unexplored. In this paper, we take the first step towards understanding the sample efficiency of transfer learning conditional diffusion models through the lens of representation learning. Inspired by practical training procedures, we assume that there exists a low-dimensional representation of conditions shared across all tasks. Our analysis shows that with a well-learned representation from source tasks, the samplecomplexity of target tasks can be reduced substantially. In addition, we investigate the practical implications of our theoretical results in several real-world applications of conditional diffusion models. Numerical experiments are also conducted to verify our results.
• Abstract（参考訳）: 条件付き拡散モデルは様々なアプリケーションで顕著な成功を収めてきたが、スクラッチからトレーニングするためには豊富なデータが必要である。 この問題に対処するために、転送学習は小さなデータ体制において必須のパラダイムとして現れてきた。 経験的成功にもかかわらず、伝達学習条件拡散モデルの理論的基盤は未解明のままである。 本稿では,表現学習のレンズを通して,伝達学習条件付き拡散モデルのサンプル効率を理解するための第一歩を踏み出す。 実践的な訓練手順に触発されて、全てのタスクで共有される条件の低次元表現が存在すると仮定する。 本分析は,ソースタスクからの表現を十分に学習することにより,対象タスクのサンプル複雑度を大幅に低減できることを示す。 さらに,条件付き拡散モデルを用いた実世界のいくつかの応用における理論結果の実用的意義について検討する。 また,実験結果の検証も行った。

関連論文リスト

• Towards Understanding Extrapolation: a Causal Lens [53.15488984371969]
  我々は、外挿がいつ可能かを理論的に理解し、それを実現するための原則的な方法を提供する。 この定式化の下では、外挿問題を潜在変数識別問題にキャストする。 この理論は、基礎となる多様体の滑らかさとシフト特性の間の複雑な相互作用を明らかにする。
  論文  参考訳（メタデータ） (2025-01-15T21:29:29Z)
• An Overview of Diffusion Models: Applications, Guided Generation, Statistical Rates and Optimization [59.63880337156392]
  拡散モデルはコンピュータビジョン、オーディオ、強化学習、計算生物学において大きな成功を収めた。 経験的成功にもかかわらず、拡散モデルの理論は非常に限定的である。 本稿では,前向きな理論や拡散モデルの手法を刺激する理論的露光について述べる。
  論文  参考訳（メタデータ） (2024-04-11T14:07:25Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• What Matters When Repurposing Diffusion Models for General Dense Perception Tasks? [49.84679952948808]
  最近の研究は、高密度知覚タスクのためのT2I拡散モデルを簡単に調整することで有望な結果を示す。 拡散前処理における伝達効率と性能に影響を及ぼす重要な要因を徹底的に検討する。 我々の研究は、濃密な視覚認知タスクに特化した効果的な決定論的ワンステップ微調整パラダイムであるGenPerceptの開発において頂点に達した。
  論文  参考訳（メタデータ） (2024-03-10T04:23:24Z)
• Towards a mathematical theory for consistency training in diffusion models [17.632123036281957]
  本稿では,一貫性モデルの理論的基盤を確立するための第一歩を踏み出す。 分布中のターゲットに近接する$varepsilon$のサンプルを生成するためには、データ次元で$d5/2/varepsilon$を超える一貫性学習のステップの数に十分であることを示す。 我々の理論は一貫性モデルの有効性と有効性に関する厳密な洞察を与え、下流推論タスクにおけるそれらの有用性を示す。
  論文  参考訳（メタデータ） (2024-02-12T17:07:02Z)
• Diffusion Model with Perceptual Loss [3.9571411466709847]
  損失対象の選択は、生拡散モデルが望ましいサンプルを生成できない根本的な理由であることを示す。 我々は,新たな自己認識的損失目標を持つ拡散モデルを訓練し,ガイダンスを必要とせず,はるかに現実的なサンプルを得る。
  論文  参考訳（メタデータ） (2023-12-30T01:24:25Z)
• Compositional Abilities Emerge Multiplicatively: Exploring Diffusion Models on a Synthetic Task [20.749514363389878]
  合成環境における条件拡散モデルにおける合成一般化について検討する。 サンプルを生成する能力が出現する順番は、基礎となるデータ生成プロセスの構造によって制御される。 本研究は、データ中心の観点から、生成モデルにおける能力と構成性を理解するための基礎を築いた。
  論文  参考訳（メタデータ） (2023-10-13T18:00:59Z)
• A Scaling Law for Synthetic-to-Real Transfer: A Measure of Pre-Training [52.93808218720784]
  合成から現実への変換学習は,実タスクのための合成画像と接地真実アノテーションを用いた事前学習を行うフレームワークである。 合成画像はデータの不足を克服するが、事前訓練されたモデルで微調整性能がどのようにスケールするかは定かではない。 我々は、合成事前学習データの様々なタスク、モデル、複雑さにおける学習曲線を一貫して記述する、単純で一般的なスケーリング法則を観察する。
  論文  参考訳（メタデータ） (2021-08-25T02:29:28Z)
• Which Mutual-Information Representation Learning Objectives are Sufficient for Control? [80.2534918595143]
  相互情報は、データの表現を学習するために魅力的な形式を提供する。 本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。 意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-14T10:12:34Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。