論文の概要: Frequency-Time Diffusion with Neural Cellular Automata

• arxiv url: http://arxiv.org/abs/2401.06291v1
• Date: Thu, 11 Jan 2024 23:15:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 20:43:40.810194
• Title: Frequency-Time Diffusion with Neural Cellular Automata
• Title（参考訳）: ニューラルセルオートマタを用いた周波数時間拡散
• Authors: John Kalkhof, Arlene K\"uhn, Yannik Frisch, Anirban Mukhopadhyay
• Abstract要約: 拡散モデルのノイズ化は高品質な画像を合成する主要な生成技術となっている。 それらは、特定の制限を課すUNetベースのアーキテクチャによって制約されることが多い。 これらの課題に対処するために,ニューラルセルオートマタ法(NCA)の2つのバリエーションを提案する。
• 参考スコア（独自算出の注目度）: 1.1807848705528714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Denoising Diffusion Models (DDMs) have become the leading generative technique for synthesizing high-quality images but are often constrained by their UNet-based architectures that impose certain limitations. In particular, the considerable size of often hundreds of millions of parameters makes them impractical when hardware resources are limited. However, even with powerful hardware, processing images in the gigapixel range is difficult. This is especially true in fields such as microscopy or satellite imaging, where such challenges arise from the limitation to a predefined generative size and the inefficient scaling to larger images. We present two variations of Neural Cellular Automata (NCA)-based DDM methods to address these challenges and jumpstart NCA-based DDMs: Diff-NCA and FourierDiff-NCA. Diff-NCA performs diffusion by using only local features of the underlying distribution, making it suitable for applications where local features are critical. To communicate global knowledge in image space, naive NCA setups require timesteps that increase with the image scale. We solve this bottleneck of current NCA architectures by introducing FourierDiff-NCA, which advances Diff-NCA by adding a Fourier-based diffusion process and combines the frequency-organized Fourier space with the image space. By initiating diffusion in the Fourier domain and finalizing it in the image space, FourierDiff-NCA accelerates global communication. We validate our techniques by using Diff-NCA (208k parameters) to generate high-resolution digital pathology scans at 576x576 resolution and FourierDiff-NCA (887k parameters) to synthesize CelebA images at 64x64, outperforming VNCA and five times bigger UNet-based DDMs. In addition, we demonstrate FourierDiff-NCA's capabilities in super-resolution, OOD image synthesis, and inpainting without additional training.
• Abstract（参考訳）: Denoising Diffusion Models (DDM) は高品質な画像を合成する主要な生成技術となっているが、UNetベースのアーキテクチャによって制約されることが多い。 特に、数億のパラメータのかなりのサイズは、ハードウェアリソースが限られている場合に実用的でない。 しかし、強力なハードウェアであっても、ギガピクセル範囲での画像処理は困難である。 これは顕微鏡や衛星画像といった分野において特に当てはまり、そのような課題は予め定義された生成サイズへの制限とより大きな画像への非効率なスケーリングから生じる。 本稿では,これらの課題に対処するニューラルセルオートマタ(NCA)に基づくDDM法と,Diff-NCAとFourierDiff-NCAの2種類のNCAベースのDDM法を提案する。 Diff-NCAは、基礎となる分布の局所的特徴のみを用いることで拡散を行い、局所的特徴が重要となるアプリケーションに適している。 画像空間におけるグローバルな知識を伝えるために、NAAセットアップは画像スケールで増加するタイムステップを必要とする。 本稿では,Fourier-NCAを導入して現在のNAAアーキテクチャのボトルネックを解消し,Fourier-NCAの拡散プロセスを追加し,周波数構成されたFourier空間と画像空間を結合することでDiff-NCAを進展させる。 フーリエ領域で拡散を開始し、画像空間で最終化することにより、フーリエディフNCAはグローバル通信を加速する。 我々は、Diff-NCA(208kパラメータ)を用いて576x576解像度の高解像度デジタル病理スキャンとFourierDiff-NCA(887kパラメータ)を用いて、64x64でCelebA画像を合成し、VNCAと5倍のUNetベースのDDMより優れることを示す。 さらに,FourierDiff-NCAの超高分解能,OOD画像合成,塗装における機能について,追加のトレーニングを伴わずに示す。

関連論文リスト

• Neural Fourier Modelling: A Highly Compact Approach to Time-Series Analysis [9.969451740838418]
  時系列解析のためのコンパクトで強力なソリューションであるニューラルフーリエモデリング(NFM)を導入する。 NFM はフーリエ変換 (FT) の2つの重要な性質 (i) 有限長時系列をフーリエ領域の関数としてモデル化する能力 (ii) フーリエ領域内のデータ操作の能力 (ii) に基礎を置いている。 NFMは幅広いタスクで最先端のパフォーマンスを達成しており、テスト時にこれまで見つからなかったサンプリングレートを持つ時系列シナリオに挑戦する。
  論文  参考訳（メタデータ） (2024-10-07T02:39:55Z)
• Implicit Neural Representations with Fourier Kolmogorov-Arnold Networks [4.499833362998488]
  入射神経表現(INR)は、複雑な信号の連続的および分解非依存的な表現を提供するためにニューラルネットワークを使用する。 提案したFKANは、第1層のフーリエ級数としてモデル化された学習可能なアクティベーション関数を用いて、タスク固有の周波数成分を効果的に制御し、学習する。 実験結果から,提案したFKANモデルは,最先端の3つのベースラインスキームよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-09-14T05:53:33Z)
• Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
  Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。 CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
  論文  参考訳（メタデータ） (2023-10-01T05:07:17Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Inception Transformer [151.939077819196]
  インセプショントランスフォーマー(iFormer)は、視覚データ中の高周波数情報と低周波情報の両方で包括的特徴を学習する。 我々は、iFormerを一連の視覚タスクでベンチマークし、画像分類、COCO検出、ADE20Kセグメンテーションにおいて優れた性能を発揮することを示した。
  論文  参考訳（メタデータ） (2022-05-25T17:59:54Z)
• Batch Processing and Data Streaming Fourier-based Convolutional Neural Network Accelerator [4.7257913147626995]
  ナビゲーション、トラッキング、リアルタイムマシンアクションシステムなど、多数のアプリケーションにおいて、最小レイテンシの人工ニューラルネットワークによる決定が最重要である。 これにより、機械学習ハードウェアは、高いスループットで多次元データを処理する必要がある。 本稿では,Fourier Convolutional Neural Network(FCNN)アクセラレータを用いた,ニューマンベースではない機械学習アクセラレーションを実演する。
  論文  参考訳（メタデータ） (2021-12-23T01:06:17Z)
• Fast and Accurate Optical Fiber Channel Modeling Using Generative Adversarial Network [2.8821682752466975]
  ファイバチャネル伝達関数の分布を学習するために, GAN(Generative Adversarial Network)について検討した。 GANは、異なる光打ち上げ能力、変調フォーマット、入力信号分布の下で堅牢な一般化能力を示す。
  論文  参考訳（メタデータ） (2020-02-28T10:54:27Z)
• Multifold Acceleration of Diffusion MRI via Slice-Interleaved Diffusion Encoding (SIDE) [50.65891535040752]
  本稿では,Slice-Interleaved Diffusionと呼ばれる拡散符号化方式を提案する。 SIDEは、拡散重み付き(DW)画像ボリュームを異なる拡散勾配で符号化したスライスでインターリーブする。 また,高いスライスアンサンプデータからDW画像を効果的に再構成するためのディープラーニングに基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-02-25T14:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。