論文の概要: Diffusion Model with Perceptual Loss

• arxiv url: http://arxiv.org/abs/2401.00110v7
• Date: Sat, 08 Mar 2025 03:14:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 21:06:48.698041
• Title: Diffusion Model with Perceptual Loss
• Title（参考訳）: 知覚的損失を伴う拡散モデル
• Authors: Shanchuan Lin, Xiao Yang,
• Abstract要約: 損失対象の選択は、生拡散モデルが望ましいサンプルを生成できない根本的な理由であることを示す。 我々は,新たな自己認識的損失目標を持つ拡散モデルを訓練し,ガイダンスを必要とせず,はるかに現実的なサンプルを得る。
• 参考スコア（独自算出の注目度）: 3.9571411466709847
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models without guidance generate very unrealistic samples. Guidance is used ubiquitously, and previous research has attributed its effect to low-temperature sampling that improves quality by trading off diversity. However, this perspective is incomplete. Our research shows that the choice of the loss objective is the underlying reason raw diffusion models fail to generate desirable samples. In this paper, (1) our analysis shows that the loss objective plays an important role in shaping the learned distribution and the MSE loss derived from theories holds assumptions that misalign with data in practice; (2) we explain the effectiveness of guidance methods from a new perspective of perceptual supervision; (3) we validate our hypothesis by training a diffusion model with a novel self-perceptual loss objective and obtaining much more realistic samples without the need for guidance. We hope our work paves the way for future explorations of the diffusion loss objective.
• Abstract（参考訳）: 誘導のない拡散モデルは、非常に非現実的なサンプルを生成する。 ガイダンスはユビキタスで使われており、以前の研究では、多様性のトレードオフによって品質を向上させる低温サンプリングによる効果が評価されている。 しかし、この見方は不完全である。 本研究は, 生拡散モデルが望ましいサンプルを生成できない理由として, 損失目標の選択が重要であることを示す。 本稿では,(1)学習分布の形成において損失目標が重要な役割を担っていること,および理論から導かれるMSE損失は,実際にデータと不一致な仮定を持つこと,(2)新しい知覚的監視の観点から指導方法の有効性を説明すること,(3)新たな自己知覚的損失目標を用いて拡散モデルを訓練し,ガイダンスを必要とせずにはるかに現実的なサンプルを得ることによって仮説を検証すること,などを述べる。 我々は,拡散損失目標の今後の探究の道を開くことを願っている。

関連論文リスト

• Causal Lifting of Neural Representations: Zero-Shot Generalization for Causal Inferences [56.23412698865433]
  本研究では,ラベル付き類似実験を微調整した予測モデルを用いて,ラベル付き実結果を用いた対象実験の因果推論に焦点をあてる。 まず,経験的リスク最小化(ERM)による実結果推定は,対象個体群に対して有効な因果推論を導出できない可能性があることを示す。 本稿では,実証的リスク最小化法(DEM)を提案する。
  論文  参考訳（メタデータ） (2025-02-10T10:52:17Z)
• Provable Sample-Efficient Transfer Learning Conditional Diffusion Models via Representation Learning [27.7568230759712]
  我々は,表現学習のレンズを通して,伝達学習条件拡散モデルのサンプル効率を理解するための第一歩を踏み出した。 本分析は,ソースタスクからの表現を十分に学習することにより,対象タスクのサンプル複雑度を大幅に低減できることを示す。
  論文  参考訳（メタデータ） (2025-02-06T20:39:03Z)
• Towards Understanding Extrapolation: a Causal Lens [53.15488984371969]
  我々は、外挿がいつ可能かを理論的に理解し、それを実現するための原則的な方法を提供する。 この定式化の下では、外挿問題を潜在変数識別問題にキャストする。 この理論は、基礎となる多様体の滑らかさとシフト特性の間の複雑な相互作用を明らかにする。
  論文  参考訳（メタデータ） (2025-01-15T21:29:29Z)
• Diffusion Attribution Score: Evaluating Training Data Influence in Diffusion Model [22.39558434131574]
  拡散モデルに対する既存のデータ帰属法は、典型的にはトレーニングサンプルの寄与を定量化する。 拡散損失の直接的利用は,拡散損失の計算により,そのような貢献を正確に表すことはできない。 本研究の目的は, 予測分布と属性スコアとの直接比較を計測し, トレーニングサンプルの重要性を分析することである。
  論文  参考訳（メタデータ） (2024-10-24T10:58:17Z)
• Diffusion Models in Low-Level Vision: A Survey [82.77962165415153]
  拡散モデルに基づくソリューションは、優れた品質と多様性のサンプルを作成する能力で広く称賛されている。 本稿では,3つの一般化拡散モデリングフレームワークを提案し,それらと他の深層生成モデルとの相関関係について検討する。 医療、リモートセンシング、ビデオシナリオなど、他のタスクに適用された拡張拡散モデルについて要約する。
  論文  参考訳（メタデータ） (2024-06-17T01:49:27Z)
• Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
  グラフニューラルネットワーク(GNN)は、モデル精度を高めるために帰納バイアスとしてリレーショナル情報を使用する。 課題関連関係が不明なため,下流予測タスクを解きながら学習するためのグラフ構造学習手法が提案されている。
  論文  参考訳（メタデータ） (2024-05-30T10:49:22Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Fine-Tuning of Continuous-Time Diffusion Models as Entropy-Regularized Control [54.132297393662654]
  拡散モデルは、自然画像やタンパク質のような複雑なデータ分布を捉えるのに優れている。 拡散モデルはトレーニングデータセットの分布を表現するために訓練されるが、私たちはしばしば、生成された画像の美的品質など他の特性にもっと関心を持っている。 本稿では,本フレームワークが真に報酬の高い多種多様なサンプルを効率よく生成できることを示す理論的,実証的な証拠を示す。
  論文  参考訳（メタデータ） (2024-02-23T08:54:42Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Unmasking Bias in Diffusion Model Training [40.90066994983719]
  拡散モデルが画像生成の主流のアプローチとして登場した。 トレーニングの収束が遅く、サンプリングのカラーシフトの問題に悩まされている。 本稿では,これらの障害は,既定のトレーニングパラダイムに固有のバイアスや準最適性に大きく起因していると考えられる。
  論文  参考訳（メタデータ） (2023-10-12T16:04:41Z)
• GSURE-Based Diffusion Model Training with Corrupted Data [35.56267114494076]
  本稿では, 劣化データのみに基づく生成拡散モデルのための新しいトレーニング手法を提案する。 顔画像と磁気共鳴画像(MRI)の撮影技術について紹介する。
  論文  参考訳（メタデータ） (2023-05-22T15:27:20Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Practical Insights of Repairing Model Problems on Image Classification [3.2932371462787513]
  ディープラーニングモデルの追加トレーニングは、結果にネガティブな影響をもたらし、初期正のサンプルを負のサンプルに変える(劣化)。 本稿では, 劣化低減手法の比較から得られた影響について述べる。 その結果、実践者は、AIシステムのデータセットの可用性とライフサイクルを継続的に考慮し、より良い方法に気を配るべきであることが示唆された。
  論文  参考訳（メタデータ） (2022-05-14T19:28:55Z)
• Mind the Trade-off: Debiasing NLU Models without Degrading the In-distribution Performance [70.31427277842239]
  信頼性正則化という新しいデバイアス化手法を導入する。 モデルがバイアスを悪用するのを防ぐと同時に、トレーニングのすべての例から学ぶのに十分なインセンティブを得られるようにします。 提案手法を3つのNLUタスクで評価し,前者とは対照的に,アウト・オブ・ディストリビューション・データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-05-01T11:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。