論文の概要: Loss Functions in Diffusion Models: A Comparative Study

• arxiv url: http://arxiv.org/abs/2507.01516v1
• Date: Wed, 02 Jul 2025 09:23:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:23:00.126427
• Title: Loss Functions in Diffusion Models: A Comparative Study
• Title（参考訳）: 拡散モデルにおける損失関数の比較研究
• Authors: Dibyanshu Kumar, Philipp Vaeth, Magda Gregorová,
• Abstract要約: 目的の異なる目標とそれに対応する損失関数を詳細に検討する。 我々は,それらの関係を体系的に概観し,変動的下界目標の枠組みの下でそれらを統一する。 目的の選択が、高品質なサンプルの生成や正確な推定可能性など、特定の目標を達成するためのモデル能力にどのように影響するかを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have emerged as powerful generative models, inspiring extensive research into their underlying mechanisms. One of the key questions in this area is the loss functions these models shall train with. Multiple formulations have been introduced in the literature over the past several years with some links and some critical differences stemming from various initial considerations. In this paper, we explore the different target objectives and corresponding loss functions in detail. We present a systematic overview of their relationships, unifying them under the framework of the variational lower bound objective. We complement this theoretical analysis with an empirical study providing insights into the conditions under which these objectives diverge in performance and the underlying factors contributing to such deviations. Additionally, we evaluate how the choice of objective impacts the model ability to achieve specific goals, such as generating high-quality samples or accurately estimating likelihoods. This study offers a unified understanding of loss functions in diffusion models, contributing to more efficient and goal-oriented model designs in future research.
• Abstract（参考訳）: 拡散モデルは強力な生成モデルとして現れ、その基盤となるメカニズムに関する広範な研究を刺激している。 この領域で重要な疑問の1つは、これらのモデルがトレーニングする損失関数である。 過去数年間に複数の定式化が文献に導入され、いくつかのリンクといくつかの重要な違いは、様々な初期的考察から生じている。 本稿では,目的の異なる目的とそれに対応する損失関数を詳細に検討する。 我々は,それらの関係を体系的に概観し,変動的下界目標の枠組みの下でそれらを統一する。 この理論解析を実証的な研究で補完し、これらの目的が性能に相違する条件と、そのような逸脱に寄与する要因について考察する。 さらに、目的の選択が、高品質なサンプルの生成や精度の高い推定可能性など、特定の目標を達成するためのモデル能力にどのように影響するかを評価する。 本研究は拡散モデルにおける損失関数の統一的理解を提供し、将来の研究においてより効率的で目標指向のモデル設計に寄与する。

関連論文リスト

• Preference Learning for AI Alignment: a Causal Perspective [55.2480439325792]
  私たちはこの問題を因果パラダイムに枠組み化し、永続的な課題を特定するための因果関係の豊富なツールボックスを提供します。 因果推論の文献を継承し、信頼性の高い一般化に必要な重要な仮定を特定する。 そこで本研究では, 因果関係に基づくアプローチがモデルロバスト性をいかに改善するかを, ナイーブ報酬モデルの障害モードを例示する。
  論文  参考訳（メタデータ） (2025-06-06T10:45:42Z)
• Equally Critical: Samples, Targets, and Their Mappings in Datasets [6.859656302020063]
  本稿では,サンプルとターゲットがトレーニングのダイナミクスにどのように影響するかを検討する。 まず、サンプルとターゲットの相互作用のレンズを通して、既存のパラダイムの分類法を確立する。 次に、トレーニング効率への影響を評価するために、新しい統合損失フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-17T08:27:19Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Diffusion Models in Low-Level Vision: A Survey [82.77962165415153]
  拡散モデルに基づくソリューションは、優れた品質と多様性のサンプルを作成する能力で広く称賛されている。 本稿では,3つの一般化拡散モデリングフレームワークを提案し,それらと他の深層生成モデルとの相関関係について検討する。 医療、リモートセンシング、ビデオシナリオなど、他のタスクに適用された拡張拡散モデルについて要約する。
  論文  参考訳（メタデータ） (2024-06-17T01:49:27Z)
• Towards Causal Foundation Model: on Duality between Causal Inference and Attention [18.046388712804042]
  治療効果推定のための因果認識基盤モデルの構築に向けて第一歩を踏み出す。 我々はCInA(Causal Inference with Attention)と呼ばれる新しい理論的に正当化された手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T22:28:34Z)
• A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
  音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。 モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。 一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
  論文  参考訳（メタデータ） (2023-07-25T17:02:38Z)
• Fairness Increases Adversarial Vulnerability [50.90773979394264]
  フェアネスとロバストネスの間に二分法が存在することを示し、フェアネスを達成するとモデルロバストネスを減少させる。 非線形モデルと異なるアーキテクチャの実験は、複数の視覚領域における理論的発見を検証する。 フェアネスとロバストネスの良好なトレードオフを達成するためのモデルを構築するための,シンプルで効果的なソリューションを提案する。
  論文  参考訳（メタデータ） (2022-11-21T19:55:35Z)
• Empirical Analysis of Model Selection for Heterogeneous Causal Effect Estimation [24.65301562548798]
  本研究では,因果推論におけるモデル選択の問題,特に条件付き平均処理効果(CATE)の推定について検討する。 本研究では,本研究で導入されたサロゲートモデル選択指標と,本研究で導入された新しい指標のベンチマークを行う。
  論文  参考訳（メタデータ） (2022-11-03T16:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。