論文の概要: FlowDCN: Exploring DCN-like Architectures for Fast Image Generation with Arbitrary Resolution

• arxiv url: http://arxiv.org/abs/2410.22655v1
• Date: Wed, 30 Oct 2024 02:48:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:27:46.576823
• Title: FlowDCN: Exploring DCN-like Architectures for Fast Image Generation with Arbitrary Resolution
• Title（参考訳）: FlowDCN: 任意解像度で高速な画像生成のためのDCNライクなアーキテクチャの探索
• Authors: Shuai Wang, Zexian Li, Tianhui Song, Xubin Li, Tiezheng Ge, Bo Zheng, Limin Wang,
• Abstract要約: 任意の解像度で高画質画像を効率よく生成できる、純粋に畳み込みに基づく生成モデルであるFlowDCNを提案する。 FlowDCNは256Times256$ ImageNet Benchmarkと同等の解像度外挿結果で最先端の4.30 sFIDを実現している。 FlowDCNはスケーラブルで柔軟な画像合成のための有望なソリューションであると考えています。
• 参考スコア（独自算出の注目度）: 33.07779971446476
• License:
• Abstract: Arbitrary-resolution image generation still remains a challenging task in AIGC, as it requires handling varying resolutions and aspect ratios while maintaining high visual quality. Existing transformer-based diffusion methods suffer from quadratic computation cost and limited resolution extrapolation capabilities, making them less effective for this task. In this paper, we propose FlowDCN, a purely convolution-based generative model with linear time and memory complexity, that can efficiently generate high-quality images at arbitrary resolutions. Equipped with a new design of learnable group-wise deformable convolution block, our FlowDCN yields higher flexibility and capability to handle different resolutions with a single model. FlowDCN achieves the state-of-the-art 4.30 sFID on $256\times256$ ImageNet Benchmark and comparable resolution extrapolation results, surpassing transformer-based counterparts in terms of convergence speed (only $\frac{1}{5}$ images), visual quality, parameters ($8\%$ reduction) and FLOPs ($20\%$ reduction). We believe FlowDCN offers a promising solution to scalable and flexible image synthesis.
• Abstract（参考訳）: 任意解像度の画像生成は、高画質を維持しながら様々な解像度とアスペクト比を扱う必要があるため、AIGCでは依然として難しい課題である。 既存の変圧器ベースの拡散法は2次計算コストと限定分解能外挿能力に悩まされており、この作業では効果が低い。 本稿では,線形時間とメモリの複雑さを有する純粋畳み込みモデルであるFlowDCNを提案する。 学習可能なグループ単位の変形可能な畳み込みブロックを新たに設計したFlowDCNでは,単一のモデルで異なる解像度を処理できる,より高い柔軟性と能力を実現しています。 FlowDCNは、最先端の4.30 sFIDを256\times256$ ImageNet Benchmarkで達成し、コンバージェンス速度(イメージのみ$\frac{1}{5}$イメージ)、視覚的品質、パラメータ(8\%$リダクション)、FLOPs(20\%$リダクション)でトランスフォーマーベースの結果を上回った。 FlowDCNはスケーラブルで柔軟な画像合成のための有望なソリューションであると考えています。

関連論文リスト

• Alleviating Distortion in Image Generation via Multi-Resolution Diffusion Models [26.926712014346432]
  本稿では,新しいマルチレゾリューションネットワークと時間依存層正規化を統合することで,拡散モデルの革新的拡張を提案する。 提案手法の有効性は,ImageNet 256 x 256で1.70,ImageNet 512 x 512で2.89の新しい最先端FIDスコアを設定することで,クラス条件のImageNet生成ベンチマークで実証される。
  論文  参考訳（メタデータ） (2024-06-13T17:59:58Z)
• DiM: Diffusion Mamba for Efficient High-Resolution Image Synthesis [56.849285913695184]
  Diffusion Mamba (DiM) は高分解能画像合成のためのシーケンスモデルである。 DiMアーキテクチャは高解像度画像の推論時間効率を実現する。 実験は、我々のDiMの有効性と効率を実証する。
  論文  参考訳（メタデータ） (2024-05-23T06:53:18Z)
• HIRI-ViT: Scaling Vision Transformer with High Resolution Inputs [102.4965532024391]
  Vision Transformer(ViT)とConvolution Neural Network(CNN)のハイブリッドディープモデルは、ビジョンタスクのための強力なバックボーンのクラスとして登場した。 高分解能入力に適した4段のViTから5段のViTにアップグレードしたHIgh-Resolution Inputs(HIRI-ViT)のハイブリッドバックボーンを提案する。 HiRI-ViTは448$times$448の入力でImageNetで84.3%の最高のTop-1精度を達成し、iFormer-Sの83.4%を224$timesで0.9%改善した。
  論文  参考訳（メタデータ） (2024-03-18T17:34:29Z)
• WaveMixSR: A Resource-efficient Neural Network for Image Super-resolution [2.0477182014909205]
  本稿では、WaveMixアーキテクチャに基づく画像超解像のための新しいニューラルネットワーク、WaveMixSRを提案する。 WaveMixSRは、すべてのデータセットで競合性能を達成し、複数の超解像度タスクでBSD100データセットで最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2023-07-01T21:25:03Z)
• Raising The Limit Of Image Rescaling Using Auxiliary Encoding [7.9700865143145485]
  近年、IRNのような画像再スケーリングモデルは、INNの双方向性を利用して、画像アップスケーリングのパフォーマンス限界を押し上げている。 本稿では,画像再スケーリング性能の限界をさらに押し上げるために,補助符号化モジュールを提案する。
  論文  参考訳（メタデータ） (2023-03-12T20:49:07Z)
• Spatially-Adaptive Feature Modulation for Efficient Image Super-Resolution [90.16462805389943]
  視覚変換器(ViT)のようなブロック上に,空間適応型特徴変調(SAFM)機構を開発する。 提案法は最先端のSR法よりも3倍程度小さい。
  論文  参考訳（メタデータ） (2023-02-27T14:19:31Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• Megapixel Image Generation with Step-Unrolled Denoising Autoencoders [5.145313322824774]
  本稿では,サンプルの解像度を高くする手法と,トレーニングとサンプリングの計算要求を低減させる手法の組み合わせを提案する。 例えば、ベクトル量子化GAN(VQ-GAN)、高レベルの損失 - しかし知覚的に重要 - 圧縮 - が可能なベクトル量子化(VQ)モデル、時間ガラストランスフォーマー、高スケールの自己アテンションモデル、非自己回帰(NAR)テキスト生成モデルであるステップ制御型デノイングオートエンコーダ(SUNDAE)などがある。 提案するフレームワークは,高解像度(1024×1024$)までスケールし,(高速で)トレーニングを行う。
  論文  参考訳（メタデータ） (2022-06-24T15:47:42Z)
• Hybrid Pixel-Unshuffled Network for Lightweight Image Super-Resolution [64.54162195322246]
  畳み込みニューラルネットワーク(CNN)は画像超解像(SR)において大きな成功を収めた ほとんどのディープCNNベースのSRモデルは、高い性能を得るために大量の計算を処理している。 SRタスクに効率的かつ効果的なダウンサンプリングモジュールを導入することで,HPUN(Hybrid Pixel-Unshuffled Network)を提案する。
  論文  参考訳（メタデータ） (2022-03-16T20:10:41Z)
• Improved Transformer for High-Resolution GANs [69.42469272015481]
  この課題に対処するために、Transformerに2つの重要な要素を紹介します。 実験で提案したHiTは、条件のないImageNetの31.87と2.95のFIDスコアをそれぞれ128×128$とFFHQの256×256$で達成していることを示す。
  論文  参考訳（メタデータ） (2021-06-14T17:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。