論文の概要: DiMSUM: Diffusion Mamba -- A Scalable and Unified Spatial-Frequency Method for Image Generation
- arxiv url: http://arxiv.org/abs/2411.04168v2
- Date: Sat, 28 Dec 2024 01:52:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-31 16:02:56.707325
- Title: DiMSUM: Diffusion Mamba -- A Scalable and Unified Spatial-Frequency Method for Image Generation
- Title（参考訳）: DiMSUM: Diffusion Mamba -- 画像生成のためのスケーラブルで統一された空間周波数法
- Authors: Hao Phung, Quan Dao, Trung Dao, Hoang Phan, Dimitris Metaxas, Anh Tran,
- Abstract要約: 拡散モデルのための新しい状態空間アーキテクチャを提案する。
入力画像の局所的特徴に対する帰納バイアスを高めるために,空間情報と周波数情報を利用する。
- 参考スコア（独自算出の注目度）: 4.391439322050918
- License:
- Abstract: We introduce a novel state-space architecture for diffusion models, effectively harnessing spatial and frequency information to enhance the inductive bias towards local features in input images for image generation tasks. While state-space networks, including Mamba, a revolutionary advancement in recurrent neural networks, typically scan input sequences from left to right, they face difficulties in designing effective scanning strategies, especially in the processing of image data. Our method demonstrates that integrating wavelet transformation into Mamba enhances the local structure awareness of visual inputs and better captures long-range relations of frequencies by disentangling them into wavelet subbands, representing both low- and high-frequency components. These wavelet-based outputs are then processed and seamlessly fused with the original Mamba outputs through a cross-attention fusion layer, combining both spatial and frequency information to optimize the order awareness of state-space models which is essential for the details and overall quality of image generation. Besides, we introduce a globally-shared transformer to supercharge the performance of Mamba, harnessing its exceptional power to capture global relationships. Through extensive experiments on standard benchmarks, our method demonstrates superior results compared to DiT and DIFFUSSM, achieving faster training convergence and delivering high-quality outputs. The codes and pretrained models are released at https://github.com/VinAIResearch/DiMSUM.git.
- Abstract（参考訳）: 本稿では,空間情報と周波数情報を効果的に活用し,画像生成タスクにおける入力画像の局所的特徴に対する帰納バイアスを高める,拡散モデルのための新しい状態空間アーキテクチャを提案する。
再帰型ニューラルネットワークの革命的な進歩であるMambaを含む状態空間ネットワークは、通常、左から右への入力シーケンスをスキャンするが、特に画像データの処理において、効果的なスキャン戦略を設計する上で困難に直面している。
本手法は, ウェーブレット変換をマンバに組み込むことで, 視覚入力の局所的構造認識を高め, ウェーブレットサブバンドに切り離すことにより, 周波数の長距離関係をよりよく把握できることを実証する。
これらのウェーブレットベースの出力は、大陸間融合層を介して元のマンバ出力とシームレスに処理され、空間情報と周波数情報を組み合わせて、画像生成の詳細と全体的な品質に不可欠な状態空間モデルの順序認識を最適化する。
さらに,マンバの性能をスーパーチャージするグローバルシェードトランスフォーマーを導入し,その異常なパワーを利用してグローバルな関係を捉える。
提案手法は, 標準ベンチマーク実験により, DiT や DIFFUSSM よりも優れた結果を示し, より高速なトレーニング収束を実現し, 高品質な出力を実現する。
コードと事前訓練されたモデルはhttps://github.com/VinAIResearch/DiMSUM.gitで公開されている。
関連論文リスト
- FE-UNet: Frequency Domain Enhanced U-Net with Segment Anything Capability for Versatile Image Segmentation [50.9040167152168]
CNNのコントラスト感度関数を実験的に定量化し,人間の視覚システムと比較した。
本稿ではウェーブレット誘導分光ポーリングモジュール(WSPM)を提案する。
人間の視覚系をさらにエミュレートするために、周波数領域拡張受容野ブロック(FE-RFB)を導入する。
本研究では,SAM2 をバックボーンとし,Hiera-Large を事前学習ブロックとして組み込んだ FE-UNet を開発した。
論文 参考訳（メタデータ） (2025-02-06T07:24:34Z) - MatIR: A Hybrid Mamba-Transformer Image Restoration Model [95.17418386046054]
そこで我々は,MatIRと呼ばれるMamba-Transformerハイブリッド画像復元モデルを提案する。
MatIRはTransformer層とMamba層のブロックをクロスサイクルして特徴を抽出する。
Mambaモジュールでは、4つのスキャンパスに沿って横断するImage Inpainting State Space (IRSS)モジュールを導入する。
論文 参考訳（メタデータ） (2025-01-30T14:55:40Z) - Detail Matters: Mamba-Inspired Joint Unfolding Network for Snapshot Spectral Compressive Imaging [40.80197280147993]
本研究では,HSI再建の非線形および不適切な特徴を克服するために,マンバインスパイアされたジョイント・アンフォールディング・ネットワーク(MiJUN)を提案する。
本稿では,初期最適化段階への依存を減らすために,高速化された展開ネットワーク方式を提案する。
テンソルモード-$k$展開をMambaネットワークに統合することにより,Mambaによる走査戦略を洗練する。
論文 参考訳（メタデータ） (2025-01-02T13:56:23Z) - MobileMamba: Lightweight Multi-Receptive Visual Mamba Network [51.33486891724516]
従来の軽量モデルの研究は、主にCNNとTransformerベースの設計に重点を置いてきた。
効率と性能のバランスをとるMobileMambaフレームワークを提案する。
MobileMambaはTop-1で83.6%を達成し、既存の最先端の手法を上回っている。
論文 参考訳（メタデータ） (2024-11-24T18:01:05Z) - A Hybrid Transformer-Mamba Network for Single Image Deraining [70.64069487982916]
既存のデラリング変換器では、固定レンジウィンドウやチャネル次元に沿って自己アテンション機構を採用している。
本稿では,多分岐型トランスフォーマー・マンバネットワーク(Transformer-Mamba Network,TransMamba Network,Transformer-Mamba Network)を提案する。
論文 参考訳（メタデータ） (2024-08-31T10:03:19Z) - Cross-Scan Mamba with Masked Training for Robust Spectral Imaging [51.557804095896174]
本研究では,空間スペクトルSSMを用いたクロススキャンマンバ(CS-Mamba)を提案する。
実験の結果, CS-Mambaは最先端の性能を達成し, マスク付きトレーニング手法によりスムーズな特徴を再構築し, 視覚的品質を向上させることができた。
論文 参考訳（メタデータ） (2024-08-01T15:14:10Z) - MxT: Mamba x Transformer for Image Inpainting [11.447968918063335]
Image Inpaintingは、セマンティック・コヒーレントなコンテンツで画像の欠落した領域や破損した領域を復元することを目的としている。
本稿では,Mambaと変換器を組み合わせたHybrid Module (HM) を相乗的に構成したMxTを提案する。
我々のHMは、ピクセルレベルとパッチレベルの二重レベルの相互作用学習を容易にし、高品質で文脈的精度で画像を再構成するモデルを大幅に強化する。
論文 参考訳（メタデータ） (2024-07-23T02:21:11Z) - Mamba-in-Mamba: Centralized Mamba-Cross-Scan in Tokenized Mamba Model for Hyperspectral Image Classification [4.389334324926174]
本研究では、このタスクにステートスペースモデル(SSM)をデプロイする最初の試みである、HSI分類のための革新的なMamba-in-Mamba(MiM)アーキテクチャを紹介する。
MiMモデルには,1)イメージをシーケンスデータに変換する新しい集中型Mamba-Cross-Scan(MCS)機構,2)Tokenized Mamba(T-Mamba)エンコーダ,3)Weighted MCS Fusion(WMF)モジュールが含まれる。
3つの公開HSIデータセットによる実験結果から,本手法は既存のベースラインや最先端アプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2024-05-20T13:19:02Z) - FreqMamba: Viewing Mamba from a Frequency Perspective for Image Deraining [1.6793052475826054]
雨害による画像の劣化は、知覚に欠かせない周波数情報を失うことが多く、画像の劣化はこの問題を解決することを目的としている。
近年の研究では、マンバのグローバルおよびローカル情報知覚の有効性と効率性が確認されている。
本稿では,マンバと周波数解析の相補性を利用して画像デライニングを行う,効率的かつ効率的なパラダイムであるFreqMambaを提案する。
論文 参考訳（メタデータ） (2024-04-15T06:02:31Z) - Mutual Information-driven Triple Interaction Network for Efficient Image
Dehazing [54.168567276280505]
画像デハージングのための相互情報駆動型トリプルインタラクションネットワーク(MITNet)を提案する。
振幅誘導ヘイズ除去と呼ばれる第1段階は、ヘイズ除去のためのヘイズ画像の振幅スペクトルを復元することを目的としている。
第2段階は位相誘導構造が洗練され、位相スペクトルの変換と微細化を学ぶことに尽力した。
論文 参考訳（メタデータ） (2023-08-14T08:23:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。