論文の概要: Revisiting Non-Autoregressive Transformers for Efficient Image Synthesis
- arxiv url: http://arxiv.org/abs/2406.05478v1
- Date: Sat, 8 Jun 2024 13:52:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 19:35:37.881893
- Title: Revisiting Non-Autoregressive Transformers for Efficient Image Synthesis
- Title(参考訳): 効率的な画像合成のための非自己回帰変換器の再検討
- Authors: Zanlin Ni, Yulin Wang, Renping Zhou, Jiayi Guo, Jinyi Hu, Zhiyuan Liu, Shiji Song, Yuan Yao, Gao Huang,
- Abstract要約: 非自己回帰変換器(NAT)は、その急速な世代で認識されている。
トレーニング戦略と推論戦略の設計を再考することにより、NATの潜在能力を再評価する。
自動フレームワークで最適な戦略を直接解き、既存の手法を超えることを提案する。
- 参考スコア(独自算出の注目度): 82.72941975704374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The field of image synthesis is currently flourishing due to the advancements in diffusion models. While diffusion models have been successful, their computational intensity has prompted the pursuit of more efficient alternatives. As a representative work, non-autoregressive Transformers (NATs) have been recognized for their rapid generation. However, a major drawback of these models is their inferior performance compared to diffusion models. In this paper, we aim to re-evaluate the full potential of NATs by revisiting the design of their training and inference strategies. Specifically, we identify the complexities in properly configuring these strategies and indicate the possible sub-optimality in existing heuristic-driven designs. Recognizing this, we propose to go beyond existing methods by directly solving the optimal strategies in an automatic framework. The resulting method, named AutoNAT, advances the performance boundaries of NATs notably, and is able to perform comparably with the latest diffusion models at a significantly reduced inference cost. The effectiveness of AutoNAT is validated on four benchmark datasets, i.e., ImageNet-256 & 512, MS-COCO, and CC3M. Our code is available at https://github.com/LeapLabTHU/ImprovedNAT.
- Abstract(参考訳): 画像合成の分野は現在、拡散モデルの発展により繁栄している。
拡散モデルは成功したが、その計算強度はより効率的な代替品の追求を促している。
代表作として、非自己回帰トランスフォーマー(NAT)がその急速な世代で認識されている。
しかし、これらのモデルの大きな欠点は拡散モデルに比べて性能が劣っていることである。
本稿では,NATのトレーニング戦略と推論戦略の設計を再考することにより,NATの潜在能力を再評価することを目的とする。
具体的には、これらの戦略を適切に構成する際の複雑さを特定し、既存のヒューリスティック駆動設計における準最適性を示す。
これを認識し、我々は、自動フレームワークで最適な戦略を直接解決することで、既存の手法を超えることを提案する。
結果、AutoNATと呼ばれる手法はNATの性能境界を著しく向上させ、最新の拡散モデルとの互換性を著しく低減した推論コストで実現できる。
AutoNATの有効性は、ImageNet-256 & 512、MS-COCO、CC3Mの4つのベンチマークデータセットで検証されている。
私たちのコードはhttps://github.com/LeapLabTHU/ImprovedNAT.comで利用可能です。
関連論文リスト
- Diffusion Models as Optimizers for Efficient Planning in Offline RL [47.0835433289033]
拡散モデルはオフラインの強化学習タスクにおいて強い競争力を示している。
本稿では,より高速な自己回帰モデルを提案する。
これにより、能力を犠牲にすることなく、より効率的な計画を達成することができます。
論文 参考訳(メタデータ) (2024-07-23T03:00:01Z) - Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。
モデル構造では、二項化に最適化されたUNetアーキテクチャを設計する。
我々は,一貫した次元を維持するために,一貫した画素ダウンサンプル (CP-Down) と一貫したピクセルアップサンプル (CP-Up) を提案する。
BI-DiffSRが既存のバイナライゼーション法より優れていることを示す総合実験を行った。
論文 参考訳(メタデータ) (2024-06-09T10:30:25Z) - A-SDM: Accelerating Stable Diffusion through Redundancy Removal and
Performance Optimization [54.113083217869516]
本研究ではまず,ネットワークの計算冗長性について検討する。
次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。
第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
論文 参考訳(メタデータ) (2023-12-24T15:37:47Z) - The Missing U for Efficient Diffusion Models [3.712196074875643]
拡散確率モデル(Diffusion Probabilistic Models)は、画像合成、ビデオ生成、分子設計などのタスクにおいて、記録破りのパフォーマンスをもたらす。
それらの能力にもかかわらず、その効率、特に逆過程では、収束速度が遅いことと計算コストが高いため、依然として課題である。
本研究では,連続力学系を利用した拡散モデルのための新しいデノナイジングネットワークの設計手法を提案する。
論文 参考訳(メタデータ) (2023-10-31T00:12:14Z) - Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。
本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
論文 参考訳(メタデータ) (2023-05-23T04:20:13Z) - RenewNAT: Renewing Potential Translation for Non-Autoregressive
Transformer [15.616188012177538]
非自己回帰型ニューラルネットワーク翻訳(NAT)モデルは、比較的高い性能を維持しつつ、推論プロセスを加速するために提案される。
既存のNATモデルは、望ましい効率品質のトレードオフを達成するのは難しい。
高い効率と効率性を持つフレキシブルなフレームワークであるRenewNATを提案する。
論文 参考訳(メタデータ) (2023-03-14T07:10:03Z) - TSNAT: Two-Step Non-Autoregressvie Transformer Models for Speech
Recognition [69.68154370877615]
非自己回帰(NAR)モデルは、出力トークン間の時間的依存関係を排除し、少なくとも1ステップで出力トークン全体を予測することができる。
この2つの問題に対処するため,TSNATと呼ばれる新しいモデルを提案する。
以上の結果から,TSNATはARモデルと競合する性能を示し,複雑なNARモデルよりも優れていた。
論文 参考訳(メタデータ) (2021-04-04T02:34:55Z) - Fully Non-autoregressive Neural Machine Translation: Tricks of the Trade [47.97977478431973]
NAT(Fullly non-autoregressive neural Machine Translation)は、ニューラルネットワークのシングルフォワードでトークンを同時に予測する手法である。
この作業では、レイテンシのアドバンテージを維持しながら、パフォーマンスのギャップを縮めることを目標としています。
論文 参考訳(メタデータ) (2020-12-31T18:52:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。