論文の概要: Probing Diffusion Denoising Dynamics for Contrastive Representation Learning

• arxiv url: http://arxiv.org/abs/2607.09067v1
• Date: Fri, 10 Jul 2026 03:23:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.772384
• Title: Probing Diffusion Denoising Dynamics for Contrastive Representation Learning
• Title（参考訳）: コントラスト表現学習のための拡散Denoising Dynamicsの提案
• Authors: Yasong Dai, Zeeshan Hayder, David Ahmedt-Aristizabal, Hongdong Li,
• Abstract要約: 本研究では,事前学習した拡散モデルの認知力学を識別的表現学習に適応させる方法について検討する。 D$3$CL をこの問題の調査として提示する。 雑音レベルのコントラスト学習は、生成性能を維持しつつ、識別的タスクの認知表現を構造化できることを示す。
• 参考スコア（独自算出の注目度）: 48.679227622825806
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Text-to-image diffusion models exhibit unprecedented generative capability and contain rich intermediate representations that can be useful for discriminative vision tasks. Motivated by this observation, we study a focused question: how can the denoising dynamics of a pretrained diffusion model be adapted to support discriminative representation learning while preserving its generative behavior under parameter-efficient updates? We present D$^3$CL as an investigation of this question. Our key observation is that noisy latents at different diffusion timesteps can be interpreted as stochastic views of the same underlying image, enabling a contrastive objective to be coupled with the standard denoising reconstruction loss. This formulation provides a simple way to probe the interaction between generative denoising and discriminative representation learning without training from scratch. To keep the adaptation lightweight, we apply LoRA updates to a pretrained Stable Diffusion backbone while freezing the original model parameters. D$^3$CL provides strong empirical evidence that reconstruction and noise-level contrastive objectives can be complementary: on ImageNet-1K, it obtains 80.1% linear-probing accuracy and an FID of 5.56 for $256 \times 256$ unconditional generation. Additional ablations on the design space suggest that the usefulness of diffusion features depends on where and how denoising states are sampled. These results establish D$^3$CL as a parameter-efficient adaptation framework for pretrained diffusion models, showing that noise-level contrastive learning can structure denoising representations for discriminative tasks while maintaining generative performance.
• Abstract（参考訳）: テキストと画像の拡散モデルは、前例のない生成能力を示し、識別的視覚タスクに有用なリッチな中間表現を含んでいる。 この観察に動機づけられた我々は、パラメータ効率の更新の下で生成挙動を保ちながら差別的表現学習をサポートするために、事前学習した拡散モデルの認知力学をどのように適応できるかという焦点を絞った疑問を考察する。 D$^3$CL をこの問題の調査として提示する。 我々のキーとなる観察は、異なる拡散時間における雑音の潜伏は、同じ基礎画像の確率的ビューと解釈でき、コントラスト的な目的と、標準的な復調損失とを結びつけることができることである。 この定式化は、生成的認知と識別的表現学習の間の相互作用を、スクラッチから学習することなく簡単に調査する方法を提供する。 適応を軽量に保つため、トレーニング済みの安定拡散バックボーンにLoRA更新を適用し、元のモデルパラメータを凍結する。 D$3$CLは、再構成とノイズレベルのコントラストの目的が相補的であるという強い実証的な証拠を提供する: ImageNet-1Kでは、80.1%の線形探索精度とFIDが256$256$unconditional generationに対して5.56である。 設計空間に関するさらなる説明は、拡散特徴の有用性は、どこでどのようにデノナイジング状態がサンプリングされるかに依存することを示唆している。 これらの結果はD$^3$CLを事前学習した拡散モデルのパラメータ効率適応フレームワークとして確立し、ノイズレベルのコントラスト学習は、生成性能を維持しながら識別的タスクの認知表現を構造化できることを示した。

関連論文リスト

• Guiding Diffusion-based Reconstruction with Contrastive Signals for Balanced Visual Representation [81.40978077888693]
  対照的に、CLIP(Contrastive Language- Image Pre-training)は、下流のパフォーマンスにおいて重要なボトルネックとなっている。 近年のソリューションでは、拡散モデルを用いて、CLIP視覚トークンに画像再構成を条件付けることで表現を強化する。 我々は、より包括的な視覚表現を追求するために、コントラスト信号を拡散に基づく再構成に統合する。
  論文  参考訳（メタデータ） (2026-03-05T04:45:49Z)
• Diffusion-Augmented Contrastive Learning: A Noise-Robust Encoder for Biosignal Representations [0.4061135251278187]
  本稿では,拡散モデルと教師付きコントラスト学習の概念を融合した,拡散拡張コントラスト学習(DACL)を提案する。 Scattering Transformer(ST)機能に基づいてトレーニングされた軽量変分オートエンコーダ(VAE)によって作成された潜時空間で動作する。 U-Netスタイルのエンコーダは、教師付きコントラスト目標を用いて訓練され、様々な拡散時間ステップでクラス識別とノイズとの堅牢性のバランスをとる表現を学ぶ。
  論文  参考訳（メタデータ） (2025-09-24T12:15:35Z)
• ADT: Tuning Diffusion Models with Adversarial Supervision [16.974169058917443]
  拡散モデルは、真のデータ分布を近似するために前方ノイズ発生過程を反転させることで、優れた画像生成を実現している。 本稿では、最適化中の推論プロセスを刺激し、最終的な出力をトレーニングデータと整合させるために、Adrial Diffusion Tuning (ADT)を提案する。 ADTは、固定されたトレーニング済みのバックボーンと軽量なトレーニング可能なパラメータを備えたシアム-ネットワーク識別器を備えている。
  論文  参考訳（メタデータ） (2025-04-15T17:37:50Z)
• Reconciling Stochastic and Deterministic Strategies for Zero-shot Image Restoration using Diffusion Model in Dual [47.141811103506036]
  我々はDualにおけるReconciling Model(RDMD)と呼ばれる新しいゼロショット画像復元手法を提案する。 RDMDはbftextsingle事前学習拡散モデルのみを使用してテキスト2正規化器を構成する。 提案手法は,FFHQ と ImageNet の両方のデータセットに対する既存手法と比較して,優れた結果が得られる。
  論文  参考訳（メタデータ） (2025-03-03T08:25:22Z)
• Robust Representation Consistency Model via Contrastive Denoising [83.47584074390842]
  ランダムな平滑化は、敵の摂動に対する堅牢性を証明する理論的保証を提供する。 拡散モデルは、ノイズ摂動サンプルを浄化するためにランダムな平滑化に成功している。 我々は,画素空間における拡散軌跡に沿った生成的モデリングタスクを,潜在空間における識別的タスクとして再構成する。
  論文  参考訳（メタデータ） (2025-01-22T18:52:06Z)
• Denoising Diffusion Autoencoders are Unified Self-supervised Learners [58.194184241363175]
  本稿では,拡散モデルにおけるネットワーク,すなわち拡散オートエンコーダ(DDAE)が,自己教師型学習者の統合であることを示す。 DDAEはすでに、補助エンコーダを使わずに、中間層内で線形分離可能な表現を強く学習している。 CIFAR-10 と Tiny-ImageNet の線形評価精度は95.9% と 50.0% である。
  論文  参考訳（メタデータ） (2023-03-17T04:20:47Z)
• Diffusion-Based Representation Learning [65.55681678004038]
  教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。 対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。 同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
  論文  参考訳（メタデータ） (2021-05-29T09:26:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。