論文の概要: ENAT: Rethinking Spatial-temporal Interactions in Token-based Image Synthesis

• arxiv url: http://arxiv.org/abs/2411.06959v1
• Date: Mon, 11 Nov 2024 13:05:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:11:46.503053
• Title: ENAT: Rethinking Spatial-temporal Interactions in Token-based Image Synthesis
• Title（参考訳）: ENAT:トーケン画像合成における時空間相互作用の再考
• Authors: Zanlin Ni, Yulin Wang, Renping Zhou, Yizeng Han, Jiayi Guo, Zhiyuan Liu, Yuan Yao, Gao Huang,
• Abstract要約: 自動回帰変換器(NAT)は,数ステップで高品質な画像を生成することができることを示す。 我々は,NATに固有の重要な相互作用を明示的に促進するNATモデルであるEfficientNAT (ENAT)を提案する。 ENATは特に計算コストを大幅に削減してNATの性能を向上させる。
• 参考スコア（独自算出の注目度）: 66.60176118564489
• License:
• Abstract: Recently, token-based generation have demonstrated their effectiveness in image synthesis. As a representative example, non-autoregressive Transformers (NATs) can generate decent-quality images in a few steps. NATs perform generation in a progressive manner, where the latent tokens of a resulting image are incrementally revealed. At each step, the unrevealed image regions are padded with mask tokens and inferred by NAT. In this paper, we delve into the mechanisms behind the effectiveness of NATs and uncover two important patterns that naturally emerge from NATs: Spatially (within a step), although mask and visible tokens are processed uniformly by NATs, the interactions between them are highly asymmetric. In specific, mask tokens mainly gather information for decoding, while visible tokens tend to primarily provide information, and their deep representations can be built only upon themselves. Temporally (across steps), the interactions between adjacent generation steps mostly concentrate on updating the representations of a few critical tokens, while the computation for the majority of tokens is generally repetitive. Driven by these findings, we propose EfficientNAT (ENAT), a NAT model that explicitly encourages these critical interactions inherent in NATs. At the spatial level, we disentangle the computations of visible and mask tokens by encoding visible tokens independently, while decoding mask tokens conditioned on the fully encoded visible tokens. At the temporal level, we prioritize the computation of the critical tokens at each step, while maximally reusing previously computed token representations to supplement necessary information. ENAT improves the performance of NATs notably with significantly reduced computational cost. Experiments on ImageNet-256, ImageNet-512 and MS-COCO validate the effectiveness of ENAT. Code is available at https://github.com/LeapLabTHU/ENAT.
• Abstract（参考訳）: 近年,画像合成におけるトークンベース生成の有効性が実証されている。 代表的な例として、非自己回帰変換器(NAT)は、数ステップで良質な画像を生成することができる。 NATはプログレッシブな方法で生成を行い、結果として得られる画像の潜在トークンを漸進的に明らかにする。 各ステップにおいて、未発見の画像領域にはマスクトークンがパディングされ、NATによって推論される。 マスクと目に見えるトークンはNATによって一様に処理されるが,それらの相互作用は非対称である。 具体的には、マスクトークンは主にデコードのための情報を集めるが、可視トークンは主として情報を提供する傾向があり、その深い表現はそれ自身で構築できる。 時間的に(段階的に)、隣接する生成ステップ間の相互作用は主にいくつかのクリティカルトークンの表現の更新に集中するが、大部分のトークンの計算は一般的に反復的である。 これらの知見に基づいて,NATに固有の重要な相互作用を明示的に促進するNATモデルであるEfficientNAT(ENAT)を提案する。 空間レベルでは、可視トークンとマスクトークンの計算を独立に符号化し、完全に符号化された可視トークンに条件付きマスクトークンを復号する。 時間レベルでは、各ステップにおけるクリティカルトークンの計算を優先し、計算済みのトークン表現を最大限再利用して必要な情報を補う。 ENATは特に計算コストを大幅に削減してNATの性能を向上させる。 ImageNet-256、ImageNet-512、MS-COCOの実験はENATの有効性を検証する。 コードはhttps://github.com/LeapLabTHU/ENAT.comで入手できる。

関連論文リスト

• Adaptive Length Image Tokenization via Recurrent Allocation [81.10081670396956]
  現在の視覚システムは、情報内容に関わらず、画像に一定長の表現を割り当てている。 そこで本研究では,2次元画像に対する可変長トークン表現の学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-04T18:58:01Z)
• ElasticTok: Adaptive Tokenization for Image and Video [109.75935878130582]
  我々は、フレームを可変数のトークンに適応的にエンコードする、事前のフレームを条件付けするElasticTokを紹介する。 推論中、ElasticTokは必要に応じてトークンを動的に割り当てる。 画像とビデオに対する評価は,トークンの有効利用におけるアプローチの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-10-10T20:54:15Z)
• LeMeViT: Efficient Vision Transformer with Learnable Meta Tokens for Remote Sensing Image Interpretation [37.72775203647514]
  本稿では,学習可能なメタトークンを用いてスパーストークンを定式化し,キー情報を効果的に学習し,推論速度を向上させることを提案する。 視覚トークンが密集した早期にデュアル・クロス・アテンション(DCA)を用いることで,様々な大きさの階層型アーキテクチャLeMeViTが得られる。 分類と密接な予測タスクの実験結果は、LeMeViTがベースラインモデルと比較して1.7倍のスピードアップ、少ないパラメータ、競争性能を持っていることを示している。
  論文  参考訳（メタデータ） (2024-05-16T03:26:06Z)
• Sparsifiner: Learning Sparse Instance-Dependent Attention for Efficient Vision Transformers [34.19166698049552]
  ビジョントランスフォーマー(ViT)は、畳み込みニューラルネットワーク(CNN)と比較して、パフォーマンス面での競争上の優位性を示している。 本稿では、軽量接続予測モジュールを考案し、インスタンス依存の注意パターンを学習するための新しいアプローチを提案する。 その結果,MHSAでは48%から69%のFLOPが減少し,精度は0.4%に低下した。
  論文  参考訳（メタデータ） (2023-03-24T02:12:28Z)
• Dynamic Alignment Mask CTC: Improved Mask-CTC with Aligned Cross Entropy [28.62712217754428]
  動的アライメントMask CTCを提案する。 1) 動的プログラミングによるクロスエントロピー損失を最小限に抑えるモノトニックアライメント,(2) 動的レクリエーション, マスクをモデル予測トークンに置き換えて新しいトレーニングサンプルを作成する。 WSJ データセットを用いた実験により,AXE の損失だけでなく,修正法により Mask CTC の WER 性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-03-14T08:01:21Z)
• Leveraging per Image-Token Consistency for Vision-Language Pre-training [52.825150269820696]
  クロスモーダルマスク言語モデリング(CMLM)は視覚言語事前学習には不十分である。 視覚言語事前学習のためのEPIC(Leveraging Per Image-Token Consistency)を提案する。 提案手法は, 事前学習法と容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2022-11-20T12:10:53Z)
• SWAT: Spatial Structure Within and Among Tokens [53.525469741515884]
  我々は,トークン化時に空間構造が保存される場合,モデルが顕著な利得が得られることを論じる。 本研究では,(1)構造認識のトークン化と(2)構造認識のミキシングという2つの重要なコントリビューションを提案する。
  論文  参考訳（メタデータ） (2021-11-26T18:59:38Z)
• Improving Visual Quality of Image Synthesis by A Token-based Generator with Transformers [51.581926074686535]
  本稿では,このタスクを視覚的トークン生成問題とみなして,画像合成の新たな視点を示す。 提案したTokenGANは、広く使われている画像合成ベンチマークで最先端の結果を得た。
  論文  参考訳（メタデータ） (2021-11-05T12:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。