論文の概要: Logit Refiner: Improving Visual Autoregressive Models via Intra-Scale Dependency Modeling
- arxiv url: http://arxiv.org/abs/2609.11804v1
- Date: Thu, 10 Sep 2026 16:57:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.45106
- Title: Logit Refiner: Improving Visual Autoregressive Models via Intra-Scale Dependency Modeling
- Title（参考訳）: Logit Refiner: スケール内依存性モデリングによる視覚自己回帰モデルの改善
- Abstract要約: ビジュアル自己回帰モデルは、次のスケールの予測を通じて画像を生成する。
平均場近似は、同じスケールのトークン間で空間的依存関係を破棄する。
Logit Refinerは、冷凍バックボーン機能に条件付きトークンを順次サンプリングすることで、スケール内の依存関係を復元する。
- 参考スコア（独自算出の注目度）: 21.906953897227442
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual Autoregressive Models (VAR) generate images through next-scale prediction, producing all tokens within each scale in parallel. We show that this parallel decoding constitutes a mean-field-style approximation that discards spatial dependencies among same-scale tokens, causing locally incoherent samples regardless of backbone capacity -- a limitation of the decoding rule. Addressing this limitation, we introduce the Logit Refiner, a lightweight autoregressive module that restores intra-scale dependencies by sequentially sampling tokens conditioned on frozen backbone features. Adding only ~10% parameters and less than 5% of the base model's training compute, it plugs into any pretrained VAR checkpoint without retraining. Controlled ablations isolate joint intra-scale sampling -- rather than additional capacity or training -- as the critical ingredient. Across backbones from 310M to 2B parameters on class-conditional ImageNet 256x256, the refiner consistently improves generation quality, enabling a 1.1B-parameter model to surpass one twice its size. The approach further generalizes to text-to-image generation, confirming that the mean-field bottleneck persists across VAR variants and is effectively alleviated by our method. Project page: https://compvis.github.io/logit-refiner/
- Abstract（参考訳）: Visual Autoregressive Models (VAR)は、次のスケールの予測を通じて画像を生成し、各スケール内のすべてのトークンを並列に生成する。
この並列復号化は,同じスケールのトークン間の空間的依存関係を排除し,バックボーン容量によらず局所的に不整合なサンプルを生じる平均場式近似を構成することを示す。
この制限に対処するため,凍結バックボーン機能に条件付きトークンを逐次サンプリングすることで,スケール内の依存関係を復元する軽量自動回帰モジュールであるLogit Refinerを導入する。
10%のパラメータと、ベースモデルのトレーニング計算の5%未満を追加することで、トレーニングをリトレーニングすることなく、任意のトレーニング済みのVARチェックポイントにプラグインする。
コントロールされたアブレーションは、追加の能力や訓練ではなく、共同規模のサンプリングを重要成分として分離する。
クラス条件の ImageNet 256x256 上の310M から 2B パラメータのバックボーン全体にわたって、リファインダは生成品質を一貫して改善し、1.1B パラメータモデルはサイズを1倍超えることができる。
この手法はテキスト・ツー・イメージ生成をさらに一般化し、平均フィールド・ボトルネックがVARの変種にまたがって持続し、本手法により効果的に緩和されることを確認した。
プロジェクトページ: https://compvis.github.io/logit-refiner/
関連論文リスト
- Next-Dense-Stride Prediction for Multimodal Autoregressive Visual Modeling [22.020464703520148]
DenseARは, 自己回帰画像生成を粗いnddense-stride予測として再構成する新しい生成パラダイムである。
我々の重要な洞察は、一スケールの潜水格子を徐々に密度を増し、自然に世界構造から細部への遷移を捉えているということである。
論文 参考訳（メタデータ） (2026-07-10T18:32:27Z) - Visual Implicit Autoregressive Modeling [42.343328817507505]
我々は、浅いプレ/ポストブロック間に暗黙の平衡層を埋め込んだ次世代の自己回帰生成器であるVisual Implicit Autoregressive Modeling (VIAR)を紹介する。
VIARはImageNet 256x256ベンチマークでFID 2.16とsFID 8.07を達成した。
スケール毎のノブを制御することで、VIARはピークメモリを19.24GBから8.53GBに削減し、スループットを2倍にする。
論文 参考訳（メタデータ） (2026-05-02T03:23:17Z) - ResTok: Learning Hierarchical Residuals in 1D Visual Tokenizers for Autoregressive Image Generation [64.84095852784714]
Residual Tokenizer (ResTok)は、画像トークンと潜在トークンの両方の階層的残基を構築する1Dビジュアルトークンライザである。
視覚的トークン化における階層的残差の復元はAR画像生成を著しく改善し,ImageNet-256ではわずか9ステップで2.34gFIDを達成した。
論文 参考訳（メタデータ） (2026-01-07T14:09:18Z) - MVAR: Visual Autoregressive Modeling with Scale and Spatial Markovian Conditioning [18.419771643052297]
本稿では,条件付き確率モデリングの複雑さを低減するために,マルコフ型視覚自己回帰モデリングフレームワークを提案する。
具体的には,次のスケール予測のために,隣接するスケールの特徴を入力としてのみ扱うスケールマルコフ軌道を導入する。
また,各トークンの注意を,隣接するスケールで対応する位置にある大きさ k の局所的近傍に限定する空間マルコフアテンションを提案する。
論文 参考訳（メタデータ） (2025-05-19T05:56:44Z) - Frequency Autoregressive Image Generation with Continuous Tokens [31.833852108014312]
本稿では、周波数プログレッシブ自己回帰(textbfFAR)パラダイムを導入し、連続トークン化器を用いてFARをインスタンス化する。
我々は、ImageNetデータセットの総合的な実験を通して、FARの有効性を実証する。
論文 参考訳（メタデータ） (2025-03-07T10:34:04Z) - M-VAR: Decoupled Scale-wise Autoregressive Modeling for High-Quality Image Generation [39.97174784206976]
このスケールワイド自己回帰フレームワークは,テキストイントラスケールモデリングに効果的に分離可能であることを示す。
計算オーバーヘッドを大幅に削減するために,Mambaのような線形複雑度機構を適用した。
実験により,本手法は画像品質と生成速度の両方で既存モデルより優れていることが示された。
論文 参考訳（メタデータ） (2024-11-15T18:54:42Z) - Randomized Autoregressive Visual Generation [26.195148077398223]
本稿では,視覚生成のためのランダム化自己回帰モデリング(RAR)を提案する。
RARは、言語モデリングフレームワークとの完全な互換性を維持しながら、画像生成タスクに最先端のパフォーマンスを新たに設定する。
ImageNet-256ベンチマークでは、RARはFIDスコアが1.48に達し、最先端の自己回帰画像生成装置に勝るだけでなく、拡散ベースおよびマスク付きトランスフォーマーベースの手法よりも優れている。
論文 参考訳（メタデータ） (2024-11-01T17:59:58Z) - Truncated Consistency Models [57.50243901368328]
トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。
このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。
整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
論文 参考訳（メタデータ） (2024-10-18T22:38:08Z) - Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration [100.54419875604721]
オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。
我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。
我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
論文 参考訳（メタデータ） (2024-04-02T17:58:49Z) - Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized
Language Model Finetuning Using Shared Randomness [86.61582747039053]
分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。
分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
論文 参考訳（メタデータ） (2023-06-16T17:59:51Z) - Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。
我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。
我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
論文 参考訳（メタデータ） (2020-04-08T09:07:11Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。