Fugu-MT 論文翻訳(概要): FlowAR: Scale-wise Autoregressive Image Generation Meets Flow Matching

論文の概要: FlowAR: Scale-wise Autoregressive Image Generation Meets Flow Matching

arxiv url: http://arxiv.org/abs/2412.15205v1
Date: Thu, 19 Dec 2024 18:59:31 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-20 13:31:04.096384
Title: FlowAR: Scale-wise Autoregressive Image Generation Meets Flow Matching
Title（参考訳）: FlowAR: スケールワイドな自動回帰画像生成とフローマッチング
Authors: Sucheng Ren, Qihang Yu, Ju He, Xiaohui Shen, Alan Yuille, Liang-Chieh Chen,
Abstract要約: 本稿では,合理化スケール設計を特徴とする次世代のスケール予測手法であるFlowARを紹介する。これにより、VARの複雑なマルチスケール残留トークン化器が不要になる。課題であるImageNet-256ベンチマークにおけるFlowARの有効性を検証する。
参考スコア（独自算出の注目度）: 34.112157859384645
License:
Abstract: Autoregressive (AR) modeling has achieved remarkable success in natural language processing by enabling models to generate text with coherence and contextual understanding through next token prediction. Recently, in image generation, VAR proposes scale-wise autoregressive modeling, which extends the next token prediction to the next scale prediction, preserving the 2D structure of images. However, VAR encounters two primary challenges: (1) its complex and rigid scale design limits generalization in next scale prediction, and (2) the generator's dependence on a discrete tokenizer with the same complex scale structure restricts modularity and flexibility in updating the tokenizer. To address these limitations, we introduce FlowAR, a general next scale prediction method featuring a streamlined scale design, where each subsequent scale is simply double the previous one. This eliminates the need for VAR's intricate multi-scale residual tokenizer and enables the use of any off-the-shelf Variational AutoEncoder (VAE). Our simplified design enhances generalization in next scale prediction and facilitates the integration of Flow Matching for high-quality image synthesis. We validate the effectiveness of FlowAR on the challenging ImageNet-256 benchmark, demonstrating superior generation performance compared to previous methods. Codes will be available at \url{https://github.com/OliverRensu/FlowAR}.
Abstract（参考訳）: 自己回帰(AR)モデリングは、次のトークン予測を通じて、一貫性と文脈的理解を備えたテキストを生成することによって、自然言語処理において顕著な成功を収めた。近年、画像生成において、VARは次のトークン予測を次のスケール予測に拡張し、画像の2次元構造を保存するスケールワイド自己回帰モデリングを提案する。しかしながら、VARは次のスケール予測における一般化を制限し、(2)同じ複雑なスケール構造を持つ離散トークン化器へのジェネレータの依存は、トークン化器を更新する際のモジュラリティと柔軟性を制限する。これらの制約に対処するために、フローARは、合理化スケール設計を特徴とする一般的な次のスケール予測手法であり、各スケールは、単に前の2倍になる。これにより、VARの複雑なマルチスケール残留トークンライザの必要性がなくなり、オフザシェルフ変分オートエンコーダ(VAE)の使用が可能になる。我々の簡易な設計は、次のスケールの予測における一般化を強化し、高品質な画像合成のためのフローマッチングの統合を容易にする。本研究では,ImageNet-256ベンチマークにおけるFlowARの有効性を検証し,従来の手法よりも優れた生成性能を示す。コードは \url{https://github.com/OliverRensu/FlowAR} で入手できる。

関連論文リスト

High-Resolution Image Synthesis via Next-Token Prediction [13.131691198804127]
D-JEPA$cdot$T2Iは,フローマッチング損失を取り入れたD-JEPAの拡張であり,連続的な解像度学習を可能にする。我々は,次世代の予測により,最先端のテクスチャ高分解能画像合成を初めて達成した。
論文参考訳（メタデータ） (2024-11-22T09:08:58Z)
M-VAR: Decoupled Scale-wise Autoregressive Modeling for High-Quality Image Generation [39.97174784206976]
このスケールワイド自己回帰フレームワークは,テキストイントラスケールモデリングに効果的に分離可能であることを示す。計算オーバーヘッドを大幅に削減するために,Mambaのような線形複雑度機構を適用した。実験により,本手法は画像品質と生成速度の両方で既存モデルより優れていることが示された。
論文参考訳（メタデータ） (2024-11-15T18:54:42Z)
Randomized Autoregressive Visual Generation [26.195148077398223]
本稿では,視覚生成のためのランダム化自己回帰モデリング(RAR)を提案する。 RARは、言語モデリングフレームワークとの完全な互換性を維持しながら、画像生成タスクに最先端のパフォーマンスを新たに設定する。 ImageNet-256ベンチマークでは、RARはFIDスコアが1.48に達し、最先端の自己回帰画像生成装置に勝るだけでなく、拡散ベースおよびマスク付きトランスフォーマーベースの手法よりも優れている。
論文参考訳（メタデータ） (2024-11-01T17:59:58Z)
DivCon: Divide and Conquer for Progressive Text-to-Image Generation [0.0]
拡散駆動型テキスト・ツー・イメージ(T2I)生成は顕著な進歩を遂げた。レイアウトは、大きな言語モデルとレイアウトベースの拡散モデルを橋渡しするためのインターメジウムとして使用される。本稿では,T2I生成タスクを単純なサブタスクに分解する分割対コンカレント手法を提案する。
論文参考訳（メタデータ） (2024-03-11T03:24:44Z)
Progressive Text-to-Image Generation [40.09326229583334]
本稿では,高忠実度テキスト・画像生成のためのプログレッシブモデルを提案する。提案手法は, 既存のコンテキストに基づいて, 粗い画像から細かな画像への新しい画像トークンの作成によって効果を発揮する。結果として得られた粗大な階層構造により、画像生成プロセスは直感的で解釈可能である。
論文参考訳（メタデータ） (2022-10-05T14:27:20Z)
Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
論文参考訳（メタデータ） (2022-09-26T22:22:30Z)
Scale Attention for Learning Deep Face Representation: A Study Against Visual Scale Variation [69.45176408639483]
我々はスケール空間理論に頼って凸層を再構築する。我々はSCale AttentioN Conv Neural Network(textbfSCAN-CNN)という新しいスタイルを構築した。単発方式として、推論はマルチショット融合よりも効率的である。
論文参考訳（メタデータ） (2022-09-19T06:35:04Z)
DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。 3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2022-07-13T11:12:03Z)
Scaling Autoregressive Models for Content-Rich Text-to-Image Generation [95.02406834386814]
Partiは、テキスト・ツー・イメージ生成をシーケンス・ツー・シーケンス・モデリング問題として扱う。 PartiはTransformerベースの画像トークンライザViT-VQGANを使用して、画像を離散トークンのシーケンスとしてエンコードする。 PartiPrompts (P2)は1600以上の英語のプロンプトの総合的なベンチマークである。
論文参考訳（メタデータ） (2022-06-22T01:11:29Z)
NP-DRAW: A Non-Parametric Structured Latent Variable Modelfor Image Generation [139.8037697822064]
NP-DRAWと呼ばれる画像生成のための非パラメトリック構造化潜在変数モデルを提案する。後続のキャンバスをパーツ単位で順次描画し、それをキャンバスからデコードする。
論文参考訳（メタデータ） (2021-06-25T05:17:55Z)
Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
論文参考訳（メタデータ） (2020-04-08T09:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。