論文の概要: Delta Sampling: Data-Free Knowledge Transfer Across Diffusion Models

• arxiv url: http://arxiv.org/abs/2512.03056v1
• Date: Tue, 25 Nov 2025 16:54:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-04 20:02:54.918252
• Title: Delta Sampling: Data-Free Knowledge Transfer Across Diffusion Models
• Title（参考訳）: デルタサンプリング:拡散モデル間のデータ自由な知識伝達
• Authors: Zhidong Gao, Zimeng Pan, Yuhang Yao, Chenyue Xie, Wei Wei,
• Abstract要約: Delta Sampling (DS)は、異なるアーキテクチャを持つベースモデル間の知識伝達を可能にする新しい方法である。 DSはデルタ(ベースモデルの適応前後のモデル予測の違い)を活用することで、完全に推論時に動作します。 これらの結果は,拡散型画像合成における知識伝達のための効果的なプラグアンドプレイ機構としてDSを強調した。
• 参考スコア（独自算出の注目度）: 15.421310783643149
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Diffusion models like Stable Diffusion (SD) drive a vibrant open-source ecosystem including fully fine-tuned checkpoints and parameter-efficient adapters such as LoRA, LyCORIS, and ControlNet. However, these adaptation components are tightly coupled to a specific base model, making them difficult to reuse when the base model is upgraded (e.g., from SD 1.x to 2.x) due to substantial changes in model parameters and architecture. In this work, we propose Delta Sampling (DS), a novel method that enables knowledge transfer across base models with different architectures, without requiring access to the original training data. DS operates entirely at inference time by leveraging the delta: the difference in model predictions before and after the adaptation of a base model. This delta is then used to guide the denoising process of a new base model. We evaluate DS across various SD versions, demonstrating that DS achieves consistent improvements in creating desired effects (e.g., visual styles, semantic concepts, and structures) under different sampling strategies. These results highlight DS as an effective, plug-and-play mechanism for knowledge transfer in diffusion-based image synthesis. Code:~ https://github.com/Zhidong-Gao/DeltaSampling
• Abstract（参考訳）: 安定拡散(SD)のような拡散モデルは、完全に微調整されたチェックポイントやLoRA、LyCORIS、ControlNetといったパラメータ効率のよいアダプタを含む、活発なオープンソースエコシステムを駆動します。 しかし、これらの適応コンポーネントは特定のベースモデルと密結合しているため、モデルパラメータやアーキテクチャが大幅に変更されたため、ベースモデルをアップグレードする(例えば、SD 1.xから2.xまで)と再利用が困難になる。 本研究では,従来のトレーニングデータへのアクセスを必要とせず,異なるアーキテクチャを持つベースモデル間の知識伝達を可能にする新しい手法であるDelta Sampling (DS)を提案する。 DSはデルタ(ベースモデルの適応前後のモデル予測の違い)を活用することで、完全に推論時に動作します。 このデルタは、新しいベースモデルの認知過程を導くのに使用される。 様々なSDバージョンにまたがってDSを評価し、異なるサンプリング戦略の下でDSが望ましい効果(例えば、視覚スタイル、セマンティックコンセプト、構造)を創出する上で一貫した改善を達成できることを実証した。 これらの結果は,拡散型画像合成における知識伝達のための効果的なプラグアンドプレイ機構としてDSを強調した。 コード:~https://github.com/Zhidong-Gao/DeltaSampling

関連論文リスト

• Delta-SVD: Efficient Compression for Personalized Text-to-Image Models [25.0585375727713]
  本研究では,DreamBoothファインチューニングによるパラメータ重み付け更新をターゲットとした,ポストホックなトレーニング不要圧縮手法であるDelta-SVDを提案する。 Delta-SVD は,CLIP スコア,SSIM,FID で測定された生成品質の低下を無視して,かなりの圧縮を実現することを示す。
  論文  参考訳（メタデータ） (2025-08-23T01:21:46Z)
• Dynamic Base model Shift for Delta Compression [53.505380509713575]
  デルタ圧縮はデルタパラメータの冗長性を減少させることでコスト削減を試みる。 既存のメソッドはデフォルトでベースモデルとして事前訓練されたモデルを使用し、各タスクのデルタパラメータを圧縮する。 デルタ圧縮を行う前にベースモデルを対象タスクに動的に適応させる動的ベースモデルシフト(DBMS)を提案する。
  論文  参考訳（メタデータ） (2025-05-16T15:11:19Z)
• ImPart: Importance-Aware Delta-Sparsification for Improved Model Compression and Merging in LLMs [9.435738597849447]
  ImPartは、新しく重要なデルタスペーサー化アプローチである。 異なる特異ベクトルの空間比をその重要性に基づいて調整する。
  論文  参考訳（メタデータ） (2025-04-17T16:39:36Z)
• Seeing Delta Parameters as JPEG Images: Data-Free Delta Compression with Discrete Cosine Transform [51.29604910007176]
  従来のJPEG画像圧縮にインスパイアされた最初のデータフリーデルタ圧縮手法であるDelta-DCTを導入し、離散コサイン変換(DCT)を利用する。 提案したデルタ-DCTはトレーニングやデータキャリブレーションを一切必要とせず、1ビット相当のデルタ圧縮比で元の微調整モデルに匹敵する性能を達成し、(1)最近7Bから13Bに異なるサイズのLSMを新たにリリースし、(2)RoBERTaやT5モデルを含む比較的小さな言語モデル、(3)視覚トランスフォーマーモデル、(4)マルチモーダルBEiT-3モデルなど様々なモデルで達成した。
  論文  参考訳（メタデータ） (2025-03-09T16:03:48Z)
• Everything to the Synthetic: Diffusion-driven Test-time Adaptation via Synthetic-Domain Alignment [81.78901060731269]
  テスト時間適応(TTA)は、これまで見つからなかった、シフトしたターゲットドメイン上でのソースドメイン事前訓練モデルの性能を改善することを目的としている。 従来のTTA手法は、主にターゲットデータストリームに基づいてモデルの重みを適応し、ターゲットデータの量と順序に敏感なモデル性能を実現する。 最近提案された拡散駆動型TTA法は、モデル入力を重みに代えて適応することでこれを緩和し、ソースドメイン上で訓練された無条件拡散モデルにより、ターゲットドメインデータをソースドメインに近似する合成ドメインに変換する。
  論文  参考訳（メタデータ） (2024-06-06T17:39:09Z)
• GCD-DDPM: A Generative Change Detection Model Based on Difference-Feature Guided DDPM [7.922421805234563]
  深層学習法は近年,バイテンポラルチェンジ検出(CD)において大きな可能性を秘めている 本研究は,CDマップを直接生成するGCD-DDPMと呼ばれる生成的変化検出モデルを提案する。 4つの高解像度CDデータセットの実験により、提案したGCD-DDPMの優れた性能が確認された。
  論文  参考訳（メタデータ） (2023-06-06T05:51:50Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models [90.24999406296867]
  標準の微調整とは対照的に、デルタチューニングはモデルパラメータのごく一部を微調整するだけであり、残りは触れないままである。 近年の研究では、パラメータ選択の異なる一連のデルタチューニング手法が、フルパラメータの微調整と同等の性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2022-03-14T07:56:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。