Fugu-MT 論文翻訳(概要): Generative Lines Matching Models

論文の概要: Generative Lines Matching Models

arxiv url: http://arxiv.org/abs/2412.06403v1
Date: Mon, 09 Dec 2024 11:33:38 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-10 14:54:32.660823
Title: Generative Lines Matching Models
Title（参考訳）: 生成ラインマッチングモデル
Authors: Ori Matityahu, Raanan Fattal,
Abstract要約: 本研究では,2つの分布を補間する全直線に一致した新しい確率フローモデルを提案する。その結果,LMMが生成する流れ場は時間的整合性に優れ,直線性スコアの優れた軌道が得られた。全体として、LMMは確立されたベンチマークデータセット上で、最小限のNFEで最先端のFIDスコアを達成する。
参考スコア（独自算出の注目度）: 2.6089354079273512
License:
Abstract: In this paper we identify the source of a singularity in the training loss of key denoising models, that causes the denoiser's predictions to collapse towards the mean of the source or target distributions. This degeneracy creates false basins of attraction, distorting the denoising trajectories and ultimately increasing the number of steps required to sample these models. We circumvent this artifact by leveraging the deterministic ODE-based samplers, offered by certain denoising diffusion and score-matching models, which establish a well-defined change-of-variables between the source and target distributions. Given this correspondence, we propose a new probability flow model, the Lines Matching Model (LMM), which matches globally straight lines interpolating the two distributions. We demonstrate that the flow fields produced by the LMM exhibit notable temporal consistency, resulting in trajectories with excellent straightness scores. Beyond its sampling efficiency, the LMM formulation allows us to enhance the fidelity of the generated samples by integrating domain-specific reconstruction and adversarial losses, and by optimizing its training for the sampling procedure used. Overall, the LMM achieves state-of-the-art FID scores with minimal NFEs on established benchmark datasets: 1.57/1.39 (NFE=1/2) on CIFAR-10, 1.47/1.17 on ImageNet 64x64, and 2.68/1.54 on AFHQ 64x64. Finally, we provide a theoretical analysis showing that the use of optimal transport to relate the two distributions suffers from a curse of dimensionality, where the pairing set size (mini-batch) must scale exponentially with the signal dimension.
Abstract（参考訳）: 本稿では,鍵復調モデルの学習損失における特異点の源泉を同定し,音源や目標分布の平均に向かってデノイザの予測が崩壊する原因となる。この縮退は、偽のアトラクションの盆地を形成し、デノイング軌道を歪め、最終的にこれらのモデルをサンプリングするのに必要なステップの数を増やす。我々は,この成果物を,特定の微分拡散モデルとスコアマッチングモデルによって提供され,ソースとターゲットの分布間の変化を適切に定義する決定論的ODEベースの標本化手法を活用することで回避する。この対応を前提として,2つの分布を補間する全直線に一致した線形マッチングモデル (LMM) を提案する。その結果,LMMが生成する流れ場は時間的整合性に優れ,直線性スコアの優れた軌道が得られた。サンプリング効率の他に,LMMの定式化により,ドメイン固有の再構成と対角的損失を統合し,使用したサンプリング手順のトレーニングを最適化することにより,生成したサンプルの忠実度を向上させることができる。 LMMは、CIFAR-10で1.57/1.39(NFE=1/2)、ImageNet 64x64で1.47/1.17、AFHQ 64x64で2.68/1.54という、確立されたベンチマークデータセットで最小のNFEで最先端のFIDスコアを達成している。最後に,2つの分布を関連付けるための最適輸送の利用は,ペアリングセットのサイズ(ミニバッチ)が信号次元と指数関数的にスケールしなければならないという,次元の呪いに苦しむことを示す理論的解析を行った。

関連論文リスト

Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文参考訳（メタデータ） (2024-10-17T16:42:12Z)
Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
論文参考訳（メタデータ） (2024-07-16T06:38:49Z)
Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文参考訳（メタデータ） (2024-05-29T01:32:17Z)
Discriminator-Guided Cooperative Diffusion for Joint Audio and Video Generation [15.29891397291197]
そこで本研究では,各単一モーダルモデルを用いて,各モーダルモデルに対して協調的に適切なサンプルを生成する手法を提案する。理論的には、このガイダンスは最適判別器の勾配によって計算可能であることを示す。いくつかのベンチマークデータセットに対する実験的な評価により,本手法は比較的少数のパラメータで単一モードの忠実度と複数モードのアライメントを改善していることが示された。
論文参考訳（メタデータ） (2024-05-28T05:43:03Z)
Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文参考訳（メタデータ） (2023-10-25T17:59:12Z)
The Score-Difference Flow for Implicit Generative Modeling [1.1929584800629673]
Inlicit Generative Modelingは、対象データ分布と一致する合成データのサンプルを作成することを目的としている。最近の研究は、合成音源データをターゲット分布へプッシュする観点から、IGG問題にアプローチしている。任意のターゲット分布とソース分布のスコア差を,Kulback-Leibler分散を最適に低減するフローとして提示する。
論文参考訳（メタデータ） (2023-04-25T15:21:12Z)
Information Theoretic Structured Generative Modeling [13.117829542251188]
構造生成モデル (Structured Generative Model, SGM) と呼ばれる新しい生成モデルフレームワークが提案され, 簡単な最適化が可能となった。この実装では、無限のガウス混合モデルを学習するために適合した単一白色ノイズ源への正則入力によって駆動される1つのニューラルネットワークを採用している。予備的な結果は、SGMがデータ効率と分散、従来のガウス混合モデルと変分混合モデル、および敵ネットワークのトレーニングにおいてMINE推定を著しく改善することを示している。
論文参考訳（メタデータ） (2021-10-12T07:44:18Z)
Achieving Efficiency in Black Box Simulation of Distribution Tails with Self-structuring Importance Samplers [1.6114012813668934]
本稿では,線形プログラムや整数線形プログラム,ピースワイド線形・二次目的,ディープニューラルネットワークで指定された特徴マップなど,多種多様なツールでモデル化されたパフォーマンス指標の分布を推定する,新しいImportance Smpling(IS)方式を提案する。
論文参考訳（メタデータ） (2021-02-14T03:37:22Z)
Learning to Match Distributions for Domain Adaptation [116.14838935146004]
本稿では,ドメイン間分布マッチングを自動的に学習する学習 to Match (L2M)を提案する。 L2Mは、メタネットワークを用いてデータ駆動方式で分布整合損失を学習することにより、誘導バイアスを低減する。公開データセットの実験は、SOTA法よりもL2Mの方が優れていることを裏付けている。
論文参考訳（メタデータ） (2020-07-17T03:26:13Z)
Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
論文参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。