論文の概要: Finding Local Diffusion Schrödinger Bridge using Kolmogorov-Arnold Network

• arxiv url: http://arxiv.org/abs/2502.19754v2
• Date: Tue, 04 Mar 2025 03:11:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 12:13:45.271093
• Title: Finding Local Diffusion Schrödinger Bridge using Kolmogorov-Arnold Network
• Title（参考訳）: Kolmogorov-Arnold ネットワークを用いた局所拡散シュレーディンガー橋の発見
• Authors: Xingyu Qiu, Mengying Yang, Xinghua Ma, Fanding Li, Dong Liang, Gongning Luo, Wei Wang, Kuanquan Wang, Shuo Li,
• Abstract要約: 本稿では,拡散路部分空間における局所拡散Schr"odinger Bridges (LDSB) の発見を初めて提案する。 実験の結果,LDSBは同じトレーニング済みのデノナイジングネットワークを用いて,画像生成の品質と効率を著しく向上させることがわかった。
• 参考スコア（独自算出の注目度）: 7.651628106346734
• License:
• Abstract: In image generation, Schr\"odinger Bridge (SB)-based methods theoretically enhance the efficiency and quality compared to the diffusion models by finding the least costly path between two distributions. However, they are computationally expensive and time-consuming when applied to complex image data. The reason is that they focus on fitting globally optimal paths in high-dimensional spaces, directly generating images as next step on the path using complex networks through self-supervised training, which typically results in a gap with the global optimum. Meanwhile, most diffusion models are in the same path subspace generated by weights $f_A(t)$ and $f_B(t)$, as they follow the paradigm ($x_t = f_A(t)x_{Img} + f_B(t)\epsilon$). To address the limitations of SB-based methods, this paper proposes for the first time to find local Diffusion Schr\"odinger Bridges (LDSB) in the diffusion path subspace, which strengthens the connection between the SB problem and diffusion models. Specifically, our method optimizes the diffusion paths using Kolmogorov-Arnold Network (KAN), which has the advantage of resistance to forgetting and continuous output. The experiment shows that our LDSB significantly improves the quality and efficiency of image generation using the same pre-trained denoising network and the KAN for optimising is only less than 0.1MB. The FID metric is reduced by more than 15\%, especially with a reduction of 48.50\% when NFE of DDIM is $5$ for the CelebA dataset. Code is available at https://github.com/PerceptionComputingLab/LDSB.
• Abstract（参考訳）: 画像生成において、SB(Schr\odinger Bridge)に基づく手法は、2つの分布間の最もコストのかかる経路を見つけることにより、拡散モデルと比較して効率と品質を理論的に向上させる。 しかし、複雑な画像データに適用すると計算コストがかかり、時間がかかる。 理由は、高次元空間におけるグローバルな最適経路の適合に焦点を合わせ、自己教師付きトレーニングを通じて複雑なネットワークを用いた経路の次のステップとして画像を直接生成し、通常はグローバルな最適度とのギャップを生じさせるためである。 一方、ほとんどの拡散モデルは、x_t = f_A(t)x_{Img} + f_B(t)\epsilon$(x_t = f_A(t)x_{Img} + f_B(t)\epsilon$)に従えば、重みによって生成される同じ経路部分空間にある。 本稿では, 拡散路部分空間に局所拡散Schr\"odinger Bridges (LDSB) を初めて発見し, SB問題と拡散モデルとの接続性を高めることを提案する。 具体的には,コンモゴロフ・アルノルドネットワーク(KAN)を用いた拡散経路の最適化を行う。 実験の結果, LDSBは, 同じトレーニング済みのデノナイジングネットワークを用いて画像生成の品質と効率を著しく改善し, 最適化のためのKAは0.1MB未満であることがわかった。 FIDメートル法は、特にDDIMのNFEがCelebAデータセットに対して5ドルである場合、48.50セントの減少で15\%以上削減される。 コードはhttps://github.com/PerceptionComputingLab/LDSBで入手できる。

関連論文リスト

• Latent Schrodinger Bridge: Prompting Latent Diffusion for Fast Unpaired Image-to-Image Translation [58.19676004192321]
  ノイズからの画像生成とデータからの逆変換の両方を可能にする拡散モデル (DM) は、強力な未ペア画像対イメージ(I2I)翻訳アルゴリズムにインスピレーションを与えている。 我々は、最小輸送コストの分布間の微分方程式(SDE)であるSchrodinger Bridges (SBs) を用いてこの問題に取り組む。 この観測に触発されて,SB ODE を予め訓練した安定拡散により近似する潜在シュロディンガー橋 (LSB) を提案する。 提案アルゴリズムは,従来のDMのコストをわずかに抑えながら,教師なし環境での競合的I2I翻訳を実現していることを示す。
  論文  参考訳（メタデータ） (2024-11-22T11:24:14Z)
• Fast Ensembling with Diffusion Schrödinger Bridge [17.334437293164566]
  ディープ・アンサンブル(Deep Ensemble、DE)アプローチは、様々な初期点からニューラルネットワークを訓練し、様々な局所最適点に向かって収束させることにより、ディープ・ニューラルネットワークの性能を高めるための簡単な手法である。 本稿では,Diffusion Bridge Network (DBN) と呼ばれる新しい手法を提案する。 この軽量ニューラルネットワークDBNで重アンサンブルを置換することにより、CIFAR-10、CIFAR-100、TinyImageNetなどのベンチマークデータセットの精度と不確実性を維持しながら、計算コストを削減した推論を実現した。
  論文  参考訳（メタデータ） (2024-04-24T11:35:02Z)
• ACT-Diffusion: Efficient Adversarial Consistency Training for One-step Diffusion Models [59.90959789767886]
  整合性トレーニング損失の最適化は,目標分布と生成分布とのワッサーシュタイン距離を最小化することを示す。 CIFAR10 と ImageNet 64$times$64 と LSUN Cat 256$times$256 データセットの FID スコアを改善する。
  論文  参考訳（メタデータ） (2023-11-23T16:49:06Z)
• Denoising Diffusion Bridge Models [54.87947768074036]
  拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。 画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。 本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T03:24:24Z)
• Unpaired Image-to-Image Translation via Neural Schr\"odinger Bridge [70.79973551604539]
  本稿では,SB問題を表すUnpaired Neural Schr"odinger Bridge (UNSB)を提案する。 UNSBはスケーラブルで、様々な未ペアI2I翻訳タスクをうまく解決する。
  論文  参考訳（メタデータ） (2023-05-24T12:05:24Z)
• I$^2$SB: Image-to-Image Schr\"odinger Bridge [87.43524087956457]
  Image-to-Image Schr"odinger Bridge (I$2$SB) は条件拡散モデルの新しいクラスである。 I$2$SB は、2つの与えられた分布間の非線形拡散過程を直接学習する。 I$2$SBは、より解釈可能な生成過程を持つ標準条件拡散モデルを超えることを示す。
  論文  参考訳（メタデータ） (2023-02-12T08:35:39Z)
• SDM: Spatial Diffusion Model for Large Hole Image Inpainting [106.90795513361498]
  本稿では,空間拡散モデル(SDM)を提案する。 また,提案手法は非結合確率モデルと空間拡散スキームにより,高品質な大穴工法を実現する。
  論文  参考訳（メタデータ） (2022-12-06T13:30:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。