論文の概要: SALD: Self-Referenced Advantage Learning for Diffusion Models

• arxiv url: http://arxiv.org/abs/2610.01496v1
• Date: Thu, 01 Oct 2026 11:37:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.090017
• Title: SALD: Self-Referenced Advantage Learning for Diffusion Models
• Title（参考訳）: SALD:拡散モデルのための自己参照型アドバンテージラーニング
• Abstract要約: 同じモデルを用いて,2つの雑音レベルにおける各画像キャプチャペアの評価を行う,自己参照型トレーニングフレームワークSALDを紹介する。 すべてのコンポーネントは1組のモデルパラメータを共有しており、トレーニングや推論中に外部の教師ネットワークも追加のトレーニング可能なパラメータも必要とせず、推論手順の変更も不要である。
• 参考スコア（独自算出の注目度）: 17.97255330547036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work on language-model adaptation has shown that single models can obtain informative training signals by evaluating their behavior in demonstrationor feedback-augmented contexts, with the help of a teacher network, which is driven by the student's learned parameters. Inspired by this internal-reference principle, we investigate how diffusion models can identify self-referenced training signals without external demonstrations or teacher networks. We introduce SALD, a self-referenced training framework that evaluates each image-caption pair at two noise levels using the same model. The easier, lower-noise path is evaluated without gradient tracking to provide a reference, while the harder, higher-noise path provides the training gradient. Rather than directly distilling the easy-path prediction, SALD uses the difference between two path errors to adapt the hardpath objective. The proposed Advantage-Guided Diffusion (AGD) converts this relative error into a differentiable sample-level weight. Temporal Advantage Memory (TAM) accumulates relative difficulty across training and adapts the future gap between the two noise levels. Spectral Advantage Decomposition (SAD) further compares the residual power spectra of the two paths and constructs a differentiable, frequency-derived latent-element weight. All components share a single set of model parameters, requiring neither an external teacher network nor additional trainable parameters during training or inference, and no modification to the inference procedure. Experiments across multiple architectures and datasets demonstrate consistent improvements in generation quality, while component-wise ablations quantify the contributions of the proposed components.
• Abstract（参考訳）: 近年の言語モデル適応研究は、学生の学習パラメータによって駆動される教師ネットワークの助けを借りて、実演者のフィードバック強化された文脈における行動を評価することによって、単一のモデルが情報的訓練信号を得ることができることを示した。 この内部参照原理にインスパイアされた拡散モデルは,外部のデモンストレーションや教師ネットワークを使わずに,自己参照学習信号をいかに特定できるかを検討する。 同じモデルを用いて,2つの雑音レベルにおける各画像キャプチャペアの評価を行う,自己参照型トレーニングフレームワークSALDを紹介する。 より簡単で低ノイズのパスは、基準を提供するために勾配追跡なしで評価され、一方、より困難で高ノイズのパスはトレーニング勾配を提供する。 SALDは、簡単な経路予測を直接蒸留するのではなく、2つの経路誤差の違いを使ってハードパスの目的に適応する。 提案したAdvantage-Guided Diffusion (AGD) は、この相対誤差を微分可能なサンプルレベルウェイトに変換する。 時間的アドバンテージメモリ(TAM)は、トレーニング間の相対的困難を蓄積し、2つのノイズレベルの間の将来のギャップに適応する。 スペクトルアドバンテージ分解(SAD)は、2つの経路の残光スペクトルを更に比較し、周波数由来の遅延要素重みを微分可能に構成する。 すべてのコンポーネントは1組のモデルパラメータを共有しており、トレーニングや推論中に外部の教師ネットワークも追加のトレーニング可能なパラメータも必要とせず、推論手順の変更も不要である。 複数のアーキテクチャとデータセットをまたいだ実験では、生成品質が一貫した改善が示され、一方、コンポーネントワイド・アブレーションは提案されたコンポーネントのコントリビューションを定量化している。

関連論文リスト

• Channel-wise Dynamic Knowledge Distillation via Adaptive Sample Generation for Action Recognition [53.278983063932706]
  適応型サンプル対応チャネルワイドダイナミック (ASCD) KD アプローチを開発した。 まず、適応的なサンプル生成モジュールを使用して、サンプル勾配のセマンティクスを組み込んで、更新されたサンプルを作成する。 第2に, チャネルワイド・ダイナミック蒸留モジュールを用いて, サンプル勾配と特徴周波数で導かれるこれらのサンプルを学生に訓練する。
  論文  参考訳（メタデータ） (2026-08-04T04:18:13Z)
• Evaluating the Representation Space of Diffusion Models via Self-Supervised Principles [35.85907484884706]
  拡散モデルの表現と生成能力を評価するためのフレームワークを提案する。 拡散モデルの識別的および生成的挙動を解析する。 この結果から,自己監督的視点から拡散モデルを監視することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-06-08T16:44:18Z)
• Toward Reliable Machine Unlearning: Theory, Algorithms, and Evaluation [1.7767466724342065]
  本稿では,SOTA MIAスコアに基づく画像分類の最先端手法を超越したAdrial Machine UNlearning(AMUN)を提案する。 既存の手法は、最寄りの会員推定攻撃(MIA-NN)を導入して、再訓練されたモデルの動作を再現できないことを示す。 そこで我々は,スクラッチから再学習したモデルが生成する残りのクラスに対する分布を,クラス入力に対して近似することで,このリークを緩和する微調整対象を提案する。
  論文  参考訳（メタデータ） (2025-12-07T20:57:25Z)
• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• Mutual Learning for Acoustic Matching and Dereverberation via Visual Scene-driven Diffusion [93.32354378820648]
  本稿では拡散モデルに基づく相互学習フレームワークMVSDを紹介する。 MVSDは2つのタスクを対称的に考慮し、逆タスクからの学習を容易にするために相互関係を利用する。 我々のフレームワークは、残響器と残響器の性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-07-15T00:47:56Z)
• Learning Compact Features via In-Training Representation Alignment [19.273120635948363]
  各エポックでは、トレーニングセットからサンプリングしたミニバッチを用いて損失関数の真の勾配を推定する。 In-Training Representation Alignment (ITRA) を提案する。 また,特徴表現学習における一致損失の望ましい影響を厳密に分析する。
  論文  参考訳（メタデータ） (2022-11-23T22:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。