論文の概要: Provable Sample-Efficient Transfer Learning Conditional Diffusion Models via Representation Learning

• arxiv url: http://arxiv.org/abs/2502.04491v1
• Date: Thu, 06 Feb 2025 20:39:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:57:36.370606
• Title: Provable Sample-Efficient Transfer Learning Conditional Diffusion Models via Representation Learning
• Title（参考訳）: 表現学習による予測可能な移動学習条件拡散モデル
• Authors: Ziheng Cheng, Tianyu Xie, Shiyue Zhang, Cheng Zhang,
• Abstract要約: 我々は,表現学習のレンズを通して,伝達学習条件拡散モデルのサンプル効率を理解するための第一歩を踏み出した。 本分析は,ソースタスクからの表現を十分に学習することにより,対象タスクのサンプル複雑度を大幅に低減できることを示す。
• 参考スコア（独自算出の注目度）: 27.7568230759712
• License:
• Abstract: While conditional diffusion models have achieved remarkable success in various applications, they require abundant data to train from scratch, which is often infeasible in practice. To address this issue, transfer learning has emerged as an essential paradigm in small data regimes. Despite its empirical success, the theoretical underpinnings of transfer learning conditional diffusion models remain unexplored. In this paper, we take the first step towards understanding the sample efficiency of transfer learning conditional diffusion models through the lens of representation learning. Inspired by practical training procedures, we assume that there exists a low-dimensional representation of conditions shared across all tasks. Our analysis shows that with a well-learned representation from source tasks, the samplecomplexity of target tasks can be reduced substantially. In addition, we investigate the practical implications of our theoretical results in several real-world applications of conditional diffusion models. Numerical experiments are also conducted to verify our results.
• Abstract（参考訳）: 条件付き拡散モデルは様々なアプリケーションで顕著な成功を収めてきたが、スクラッチからトレーニングするためには豊富なデータが必要である。 この問題に対処するために、転送学習は小さなデータ体制において必須のパラダイムとして現れてきた。 経験的成功にもかかわらず、伝達学習条件拡散モデルの理論的基盤は未解明のままである。 本稿では,表現学習のレンズを通して,伝達学習条件付き拡散モデルのサンプル効率を理解するための第一歩を踏み出す。 実践的な訓練手順に触発されて、全てのタスクで共有される条件の低次元表現が存在すると仮定する。 本分析は,ソースタスクからの表現を十分に学習することにより,対象タスクのサンプル複雑度を大幅に低減できることを示す。 さらに,条件付き拡散モデルを用いた実世界のいくつかの応用における理論結果の実用的意義について検討する。 また,実験結果の検証も行った。

関連論文リスト

• Towards Understanding Extrapolation: a Causal Lens [53.15488984371969]
  我々は、外挿がいつ可能かを理論的に理解し、それを実現するための原則的な方法を提供する。 この定式化の下では、外挿問題を潜在変数識別問題にキャストする。 この理論は、基礎となる多様体の滑らかさとシフト特性の間の複雑な相互作用を明らかにする。
  論文  参考訳（メタデータ） (2025-01-15T21:29:29Z)
• Cross-Modal Few-Shot Learning: a Generative Transfer Learning Framework [58.362064122489166]
  本稿では,複数モーダルからインスタンスを識別するクロスモーダルなFew-Shot Learningタスクを提案する。 本稿では,1つの段階からなる生成的転帰学習フレームワークを提案する。1つは豊富な一助データに対する学習を伴い,もう1つは新しいデータに適応するための転帰学習に焦点を当てる。 以上の結果から,GTLは4つの異なるマルチモーダルデータセット間の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T16:09:38Z)
• An Overview of Diffusion Models: Applications, Guided Generation, Statistical Rates and Optimization [59.63880337156392]
  拡散モデルはコンピュータビジョン、オーディオ、強化学習、計算生物学において大きな成功を収めた。 経験的成功にもかかわらず、拡散モデルの理論は非常に限定的である。 本稿では,前向きな理論や拡散モデルの手法を刺激する理論的露光について述べる。
  論文  参考訳（メタデータ） (2024-04-11T14:07:25Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• Towards a mathematical theory for consistency training in diffusion models [17.632123036281957]
  本稿では,一貫性モデルの理論的基盤を確立するための第一歩を踏み出す。 分布中のターゲットに近接する$varepsilon$のサンプルを生成するためには、データ次元で$d5/2/varepsilon$を超える一貫性学習のステップの数に十分であることを示す。 我々の理論は一貫性モデルの有効性と有効性に関する厳密な洞察を与え、下流推論タスクにおけるそれらの有用性を示す。
  論文  参考訳（メタデータ） (2024-02-12T17:07:02Z)
• Compositional Abilities Emerge Multiplicatively: Exploring Diffusion Models on a Synthetic Task [20.749514363389878]
  合成環境における条件拡散モデルにおける合成一般化について検討する。 サンプルを生成する能力が出現する順番は、基礎となるデータ生成プロセスの構造によって制御される。 本研究は、データ中心の観点から、生成モデルにおける能力と構成性を理解するための基礎を築いた。
  論文  参考訳（メタデータ） (2023-10-13T18:00:59Z)
• A Scaling Law for Synthetic-to-Real Transfer: A Measure of Pre-Training [52.93808218720784]
  合成から現実への変換学習は,実タスクのための合成画像と接地真実アノテーションを用いた事前学習を行うフレームワークである。 合成画像はデータの不足を克服するが、事前訓練されたモデルで微調整性能がどのようにスケールするかは定かではない。 我々は、合成事前学習データの様々なタスク、モデル、複雑さにおける学習曲線を一貫して記述する、単純で一般的なスケーリング法則を観察する。
  論文  参考訳（メタデータ） (2021-08-25T02:29:28Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。