論文の概要: Autoregressive Image Generation with Masked Bit Modeling

• arxiv url: http://arxiv.org/abs/2602.09024v1
• Date: Mon, 09 Feb 2026 18:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.447343
• Title: Autoregressive Image Generation with Masked Bit Modeling
• Title（参考訳）: マスクビットモデリングによる自己回帰画像生成
• Authors: Qihang Yu, Qihao Liu, Ju He, Xinyang Zhang, Yang Liu, Liang-Chieh Chen, Xi Chen,
• Abstract要約: Bit AutoRegressive Modeling (BAR)は任意のコードブックサイズをサポートするスケーラブルなフレームワークである。 BAR は ImageNet-256 上で 0.99 の最先端 gFID を新たに達成し、連続パラダイムと離散パラダイムの両方で先行する手法より優れている。
• 参考スコア（独自算出の注目度）: 34.36577356251466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper challenges the dominance of continuous pipelines in visual generation. We systematically investigate the performance gap between discrete and continuous methods. Contrary to the belief that discrete tokenizers are intrinsically inferior, we demonstrate that the disparity arises primarily from the total number of bits allocated in the latent space (i.e., the compression ratio). We show that scaling up the codebook size effectively bridges this gap, allowing discrete tokenizers to match or surpass their continuous counterparts. However, existing discrete generation methods struggle to capitalize on this insight, suffering from performance degradation or prohibitive training costs with scaled codebook. To address this, we propose masked Bit AutoRegressive modeling (BAR), a scalable framework that supports arbitrary codebook sizes. By equipping an autoregressive transformer with a masked bit modeling head, BAR predicts discrete tokens through progressively generating their constituent bits. BAR achieves a new state-of-the-art gFID of 0.99 on ImageNet-256, outperforming leading methods across both continuous and discrete paradigms, while significantly reducing sampling costs and converging faster than prior continuous approaches. Project page is available at https://bar-gen.github.io/
• Abstract（参考訳）: 本稿では,視覚生成における連続パイプラインの優位性に挑戦する。 離散的手法と連続的手法のパフォーマンスギャップを系統的に検討する。 離散トークン化器が本質的に劣るという信念とは対照的に、差は主に潜在空間に割り当てられるビットの総数(すなわち圧縮比)から生じることを証明している。 コードブックのサイズを拡大することは、このギャップを効果的に橋渡しし、個別のトークン化ツールが彼らの継続的なトークンと一致したり、超えたりできることを示す。 しかし、既存の離散生成手法は、パフォーマンス劣化やスケールしたコードブックによる禁制的なトレーニングコストに悩まされ、この洞察を生かしがちである。 これを解決するために、任意のコードブックサイズをサポートするスケーラブルなフレームワークである、マスク付きBit AutoRegressive Modeling (BAR)を提案する。 自己回帰変換器にマスク付きビットモデリングヘッドを装着することにより、BARは、その構成ビットを段階的に生成して離散トークンを予測する。 BAR は ImageNet-256 上で 0.99 の最先端 gFID を新たに達成し、連続的および離散的パラダイムの両方で先行する手法よりも優れ、サンプリングコストを大幅に削減し、以前の連続的アプローチよりも高速に収束する。 プロジェクトページはhttps://bar-gen.github.io/で公開されている。

関連論文リスト

• BIGFix: Bidirectional Image Generation with Token Fixing [21.40682276355247]
  サンプルトークンを反復精製することで画像生成を自己補正する手法を提案する。 我々は,ランダムトークンを文脈に注入し,ロバスト性を向上し,サンプリング中のトークンの固定を可能にする,新しいトレーニング手法によりこれを実現する。 我々は、ImageNet-256とCIFAR-10データセットを用いた画像生成と、UCF-101とNuScenesによるビデオ生成のアプローチを評価し、両モード間で大幅に改善した。
  論文  参考訳（メタデータ） (2025-10-14T07:34:44Z)
• Exploiting Discriminative Codebook Prior for Autoregressive Image Generation [54.14166700058777]
  トークンベースの自己回帰画像生成システムは、まずトークンインデックスのシーケンスをコードブックでトークン化し、次にこれらのシーケンスを自己回帰パラダイムでモデル化する。 自己回帰生成モデルはインデックス値のみに基づいて訓練されるが、豊富なトークン類似性情報を含むコードブックにエンコードされた前者は利用されない。 近年の研究では、トークン上に単純なk平均クラスタリングを行い、コードブックを減らした生成モデルのトレーニングを容易にすることで、これを先に組み込もうとしている。 k-meansの代替として、差別的コードブック先駆者(DCPE)を提案する。
  論文  参考訳（メタデータ） (2025-08-14T15:00:00Z)
• Rethinking Discrete Tokens: Treating Them as Conditions for Continuous Autoregressive Image Synthesis [79.98107530577576]
  DisConは、離散トークンを生成ターゲットではなく条件信号として再解釈する新しいフレームワークである。 DisConは、ImageNet 256$times $256 世代で gFID スコアが 1.38 に達し、最先端の自己回帰アプローチよりも明確なマージンで優れている。
  論文  参考訳（メタデータ） (2025-07-02T14:33:52Z)
• CODA: Repurposing Continuous VAEs for Discrete Tokenization [31.932323809073477]
  textbfCODA(textbfCOntinuous-to-textbfDiscrete textbfAdaptation)は、圧縮と離散化を分離するフレームワークである。 提案手法は,ImageNet 256$times$256ベンチマークにおいて,$mathbf0.43$と$mathbf1.34$を8倍,$16倍の圧縮で,100%のコードブック利用と注目すべき再構成FID(rFID)を実現している。
  論文  参考訳（メタデータ） (2025-03-22T12:59:00Z)
• Improving Autoregressive Image Generation through Coarse-to-Fine Token Prediction [4.900334213807624]
  自己回帰モデリングをより困難にすることなく、大規模なコードブックのメリットを享受する方法を示す。 本フレームワークは,(1)各トークンの粗いラベルを逐次予測する自己回帰モデル,(2)粗いラベルに条件付けられた全てのトークンの細粒度ラベルを同時に予測する補助モデル,の2段階からなる。
  論文  参考訳（メタデータ） (2025-03-20T14:41:29Z)
• Continuous Speculative Decoding for Autoregressive Image Generation [27.308442169466975]
  連続的視覚自己回帰(AR)モデルは、画像生成において有望な性能を示す。 投機的復号化は 事実上 自己回帰推論を加速させた この研究は、低受理率、不整合出力分布、解析式のない修正分布からの課題に対処する。
  論文  参考訳（メタデータ） (2024-11-18T09:19:15Z)
• Fast constrained sampling in pre-trained diffusion models [80.99262780028015]
  任意の制約下で高速で高品質な生成を可能にするアルゴリズムを提案する。 我々の手法は、最先端のトレーニングフリー推論手法に匹敵するか、超越した結果をもたらす。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。