論文の概要: Universal Approximation of Visual Autoregressive Transformers

• arxiv url: http://arxiv.org/abs/2502.06167v1
• Date: Mon, 10 Feb 2025 05:36:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:36:33.535452
• Title: Universal Approximation of Visual Autoregressive Transformers
• Title（参考訳）: 視覚自己回帰変換器の普遍近似
• Authors: Yifang Chen, Xiaoyu Li, Yingyu Liang, Zhenmei Shi, Zhao Song,
• Abstract要約: 分析をVisual Auto Regressive Transformerに拡張します。 Varは、新しい、スケーラブルで粗い次世代の予測フレームワークを使って、画像を生成するための大きなステップである。 本研究は,効率的なVARトランスフォーマー戦略のための重要な設計原則を提供する。
• 参考スコア（独自算出の注目度）: 28.909655919558706
• License:
• Abstract: We investigate the fundamental limits of transformer-based foundation models, extending our analysis to include Visual Autoregressive (VAR) transformers. VAR represents a big step toward generating images using a novel, scalable, coarse-to-fine ``next-scale prediction'' framework. These models set a new quality bar, outperforming all previous methods, including Diffusion Transformers, while having state-of-the-art performance for image synthesis tasks. Our primary contributions establish that, for single-head VAR transformers with a single self-attention layer and single interpolation layer, the VAR Transformer is universal. From the statistical perspective, we prove that such simple VAR transformers are universal approximators for any image-to-image Lipschitz functions. Furthermore, we demonstrate that flow-based autoregressive transformers inherit similar approximation capabilities. Our results provide important design principles for effective and computationally efficient VAR Transformer strategies that can be used to extend their utility to more sophisticated VAR models in image generation and other related areas.
• Abstract（参考訳）: 変換器に基づく基礎モデルの基本的限界について検討し、解析をVisual Autoregressive (VAR) 変換器を含むように拡張する。 VARは、新しい、スケーラブルで粗大で細かい ``next-scale prediction'' フレームワークを使って、画像を生成するための大きなステップである。 これらのモデルは新しい品質バーを設定し、Diffusion Transformersを含む従来のすべての手法より優れ、画像合成タスクの最先端のパフォーマンスを実現した。 我々の主な貢献は、単一の自己アテンション層と単一の補間層を持つシングルヘッドVARトランスの場合、VARトランスは普遍的であることである。 統計的観点からは、そのような単純なVAR変換器は任意のイメージ・ツー・イメージ・リプシッツ関数に対する普遍近似器であることが証明される。 さらに,フローベース自己回帰変換器も同様の近似能力を継承することを示した。 本研究は,画像生成や他の関連分野において,より洗練されたVARモデルに応用可能な,効率的かつ効率的なVARトランスフォーマー戦略に関する重要な設計原則を提供する。

関連論文リスト

• Training Transformer Models by Wavelet Losses Improves Quantitative and Visual Performance in Single Image Super-Resolution [6.367865391518726]
  トランスフォーマーベースモデルは、画像超解像(SR)を含む低レベル視覚タスクにおいて顕著な結果を得た グローバルにより多くの入力ピクセルを活性化するために、ハイブリッドアテンションモデルが提案されている。 ウェーブレット損失を利用してTransformerモデルをトレーニングし、定量的および主観的性能を向上させる。
  論文  参考訳（メタデータ） (2024-04-17T11:25:19Z)
• HiViT: Hierarchical Vision Transformer Meets Masked Image Modeling [126.89573619301953]
  我々はHiViT(Hierarchical ViT)という階層型視覚変換器の新しい設計を提案する。 HiViTはMIMで高い効率と優れたパフォーマンスを享受する。 ImageNet-1K上でMAEを実行する場合、HiViT-BはViT-Bよりも0.6%精度が向上し、Swin-Bよりも1.9$times$スピードアップしたと報告している。
  論文  参考訳（メタデータ） (2022-05-30T09:34:44Z)
• Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
  連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。 我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
  論文  参考訳（メタデータ） (2022-05-26T14:51:30Z)
• Towards Lightweight Transformer via Group-wise Transformation for Vision-and-Language Tasks [126.33843752332139]
  本稿では,LW-Transformerと呼ばれる視覚・言語タスクのための,普遍的で軽量なトランスフォーマーに対するグループワイズ変換を提案する。 LW-Transformerを一組のTransformerベースのネットワークに適用し、3つの視覚・言語タスクと6つのベンチマークデータセットで定量的に測定する。 実験の結果,LW-Transformerは多数のパラメータや計算を節約しながら,視覚・言語タスクのためのトランスフォーマーネットワークと非常に競合する性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2022-04-16T11:30:26Z)
• Plug-In Inversion: Model-Agnostic Inversion for Vision with Data Augmentations [61.95114821573875]
  単純な拡張セットに依存し、過剰なハイパーパラメータチューニングを必要としないPlug-In Inversionを導入する。 ImageNetデータセットでトレーニングされたビジョントランスフォーマー(ViT)とマルチ層パーセプトロン(MLP)を反転させることにより,我々のアプローチの実用性を説明する。
  論文  参考訳（メタデータ） (2022-01-31T02:12:45Z)
• Towards End-to-End Image Compression and Analysis with Transformers [99.50111380056043]
  本稿では,クラウドベースの画像分類アプリケーションを対象として,トランスフォーマーを用いたエンドツーエンドの画像圧縮解析モデルを提案する。 我々は、圧縮された特徴から画像分類を行うためにビジョントランスフォーマー(ViT)モデルを再設計し、トランスフォーマーからの長期情報を用いて画像圧縮を容易にすることを目指している。 画像圧縮と分類作業の両方において,提案モデルの有効性を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2021-12-17T03:28:14Z)
• PPT Fusion: Pyramid Patch Transformerfor a Case Study in Image Fusion [37.993611194758195]
  画像から意味情報を抽出する問題に対処するため,Patch Pyramid Transformer(PPT)を提案する。 実験により, 現状の核融合法に対して優れた性能を示した。
  論文  参考訳（メタデータ） (2021-07-29T13:57:45Z)
• Transformer-Based Deep Image Matching for Generalizable Person Re-identification [114.56752624945142]
  画像マッチングと距離学習にトランスフォーマーを適用する可能性について検討する。 視覚変換器 (ViT) とデコーダ付きバニラ変換器 (Vanilla Transformer) はイメージ・ツー・イメージ・アテンションの欠如により画像マッチングに適していないことがわかった。 そこで本研究では,クエリキーの類似性のみを保ちながら,ソフトマックス重み付けによる注意の完全な実装を省略する,単純化されたデコーダを提案する。
  論文  参考訳（メタデータ） (2021-05-30T05:38:33Z)
• Training Vision Transformers for Image Retrieval [32.09708181236154]
  我々は、画像記述子を生成するために視覚変換器を採用し、結果のモデルをメートル法学習目標で訓練する。 コンボリューションに基づくアプローチよりも,トランスフォーマーの一貫性と顕著な改善が示された。
  論文  参考訳（メタデータ） (2021-02-10T18:56:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。