論文の概要: SWIFT: Self-guided Weak-to-strong dIFfusion models via Target extrapolation

• arxiv url: http://arxiv.org/abs/2610.25844v1
• Date: Mon, 19 Oct 2026 05:57:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 04:15:11.686093
• Title: SWIFT: Self-guided Weak-to-strong dIFfusion models via Target extrapolation
• Title（参考訳）: SWIFT:ターゲット外挿による自己誘導弱核拡散モデル
• Abstract要約: 我々は、凍結した弱いデノイザを使用して推論オーバーヘッドを追加することなく、より強力なモデルを改善する自己誘導型トレーニング手法であるSwiftを紹介した。 ノイズの多い入力毎に、Swiftは、弱いdenoiserの予測からクリーンな回帰ターゲットを外挿し、不適合なコンポーネントを増幅する。
• 参考スコア（独自算出の注目度）: 11.241370768467208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training high-quality diffusion models is computationally expensive, and inference-time guidance often adds further sampling cost. In this work, we introduce Swift, a simple yet effective self-guided training method that uses a frozen weak denoiser to improve a stronger model without adding inference overhead. For each noisy input, Swift extrapolates the clean regression target away from the weak denoiser's prediction, amplifying components that remain underfit. The weak guide can be an early training checkpoint, requires no backpropagation during main-model training, and is discarded afterward. The resulting model retains the original sampler and supports both conditional and unconditional generation without label dropout or an unconditional branch. We explain this mechanism through a spectral analysis of finite-time population gradient flow in an RKHS. With an early-stopped weak guide, we prove that a nonempty range of extrapolation strengths yields strictly lower posterior-mean error than matched standard training, despite shifting the regression target away from the posterior mean. Experiments on CIFAR-10 and ImageNet-256 demonstrate improvements across model scales and representations. In one ImageNet-256 configuration, Swift surpasses the baseline's best FID using roughly half the total training compute, including guide preparation and training overhead. On RAEv2, it achieves FID 1.15 without inference-time guidance and 0.99 with guidance. These results establish target extrapolation as an effective approach to weak-to-strong diffusion training with efficient single-model inference.
• Abstract（参考訳）: 高品質な拡散モデルのトレーニングは計算に高価であり、推論時のガイダンスはサンプリングコストを増大させることが多い。 この研究では、凍結した弱いデノイザを使用して推論オーバーヘッドを追加することなく、より強力なモデルを改善する、単純だが効果的な自己ガイド付きトレーニング手法であるSwiftを紹介します。 ノイズの多い入力毎に、Swiftは、弱いdenoiserの予測からクリーンな回帰ターゲットを外挿し、不適合なコンポーネントを増幅する。 弱いガイドは早期のトレーニングチェックポイントであり、メインモデルトレーニング中にバックプロパゲーションを必要とせず、その後破棄される。 結果として得られたモデルは元のサンプルを保持でき、ラベルのドロップアウトや無条件分岐なしで条件生成と無条件生成の両方をサポートする。 RKHSにおける有限時間集団勾配流のスペクトル解析により,このメカニズムを説明する。 早期に停止した弱ガイドを用いて,非空域の補間強度が標準訓練よりも後方平均誤差を極端に低くすることを示した。 CIFAR-10とImageNet-256の実験では、モデルスケールと表現の改善が示されている。 1つのImageNet-256構成では、Swiftは、ガイド準備やトレーニングオーバーヘッドを含む、トレーニング計算全体の約半分を使用して、ベースラインの最高のFIDを上回っている。 RAEv2では、推論時ガイダンスなしでFID 1.15、ガイダンス付き0.99を達成している。 これらの結果は,効率的な単一モデル推論を用いた弱ストロング拡散訓練の効果的なアプローチとして,対象外挿を確立した。

関連論文リスト

• Correction Training for Diffusion Models [38.67214934380264]
  このトレーニングと推論のギャップを減らそうとする拡散モデルの補正ステップを導入する。 補正者は、ベースモデルの予測を入力として、同じ接地目標に対してトレーニングする。 サンプリング中、各デノイングステップにおいて、デノワザーのクリーンサンプル予測を反復的に洗練する。 補正器は、ベースデノイザからの予測のみに基づいて訓練されるが、推論時に自分自身の出力に繰り返し適用することで、より良い結果が得られる。
  論文  参考訳（メタデータ） (2026-10-09T13:31:52Z)
• Score-Calibrated Flow for Sampling from Unnormalized Densities with Applications to Generative Online Reinforcement Learning [24.094379447340696]
  拡散流モデルとフローモデルはオンライン強化学習(RL)のための表現型ポリシークラスを提供する 本研究では,非正規化密度から標本化するための生成モデルの簡易かつ効率的な学習アルゴリズムであるScore-Calibrated Flow (SCF)を提案する。 RLベンチマークの実験は、SCFが最先端のジェネレーティブ・ポリティクス・ベースラインと一致または改善することを示した。
  論文  参考訳（メタデータ） (2026-10-03T18:18:48Z)
• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• MixSD: Mixed Contextual Self-Distillation for Knowledge Injection [29.7616760417696]
  Supervised Fine-tuning (SFT) は言語モデルに新しい知識を注入するために広く使われている。 このことは、人間や外部システムからの微調整対象が、モデルの自動回帰分布から逸脱するためである、と我々は主張する。 分布整合型知識注入のための簡易な外部教師なし手法であるMixSDを提案する。
  論文  参考訳（メタデータ） (2026-05-16T07:57:09Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
  逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。 モデルの内部構造ブロックを利用して効率を向上させることを提案する。 従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
  論文  参考訳（メタデータ） (2023-10-24T01:36:20Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Removing Batch Normalization Boosts Adversarial Training [83.08844497295148]
  敵の訓練(AT)は、敵の攻撃に対して深層ニューラルネットワークを防御する。 主なボトルネックは、広く使われているバッチ正規化(BN)であり、ATにおけるクリーンなおよび敵対的なトレーニングサンプルの異なる統計をモデル化するのに苦労している。 我々のNoFrost法は, 正規化自由ネットワークの最近の進歩をATに拡張する。
  論文  参考訳（メタデータ） (2022-07-04T01:39:37Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。