論文の概要: Heptapod: Language Modeling on Visual Signals

• arxiv url: http://arxiv.org/abs/2510.06673v1
• Date: Wed, 08 Oct 2025 05:54:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.321873
• Title: Heptapod: Language Modeling on Visual Signals
• Title（参考訳）: Heptapod:視覚信号の言語モデリング
• Authors: Yongxin Zhu, Jiawei Chen, Yuanzhe Chen, Zhuo Chen, Dongya Jia, Jian Cong, Xiaobin Zhuang, Yuping Wang, Yuxuan Wang,
• Abstract要約: Heptapodは、言語モデリングの基本原則に準拠したイメージ自己回帰モデルである。 Heptapodは、各ステップで画像の2次元空間グリッド全体の分布を予測することを学習する。 ImageNet 生成ベンチマークでは、Heptapod は2.70ドルの FID を達成し、従来の因果自己回帰アプローチを著しく上回っている。
• 参考スコア（独自算出の注目度）: 22.38688167256277
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Heptapod, an image autoregressive model that adheres to the foundational principles of language modeling. Heptapod employs \textbf{causal attention}, \textbf{eliminates reliance on CFG}, and \textbf{eschews the trend of semantic tokenizers}. Our key innovation is \textit{next 2D distribution prediction}: a causal Transformer with reconstruction-focused visual tokenizer, learns to predict the distribution over the entire 2D spatial grid of images at each timestep. This learning objective unifies the sequential modeling of autoregressive framework with the holistic self-supervised learning of masked autoencoding, enabling the model to capture comprehensive image semantics via generative training. On the ImageNet generation benchmark, Heptapod achieves an FID of $2.70$, significantly outperforming previous causal autoregressive approaches. We hope our work inspires a principled rethinking of language modeling on visual signals and beyond.
• Abstract（参考訳）: 本稿では,言語モデリングの基本原理に準拠したイメージ自己回帰モデルであるHeptapodを紹介する。 Heptapod は \textbf{causal attention}, \textbf{eliminates reliance on CFG}, \textbf{eschews the trend of semantic tokenizers} を採用している。 我々の重要な革新は、画像の2次元空間グリッド全体にわたる分布を各ステップで予測することを学ぶ、再構成中心の視覚的トークン化器を備えた因果変換器である、textit{next 2D Distribution Prediction}である。 この学習目的は、自己回帰フレームワークのシーケンシャルモデリングと、マスク付き自己エンコーディングの全体論的自己教師型学習を一体化することにより、生成学習を通じて包括的なイメージセマンティクスをキャプチャすることを可能にする。 ImageNet 生成ベンチマークでは、Heptapod は2.70ドルの FID を達成し、従来の因果自己回帰アプローチを著しく上回っている。 私たちの研究は、視覚信号やそれ以上の言語モデリングの原則を再考することを期待しています。

関連論文リスト

• Vision Foundation Models as Effective Visual Tokenizers for Autoregressive Image Generation [66.73899356886652]
  我々は、事前訓練された視覚基盤モデルの上に画像トークン化器を直接構築する。 提案する画像トークンーであるVFMTokは、画像再構成と生成品質を大幅に改善する。 ImageNetベンチマークで2.07のgFIDを達成することで、自動回帰(AR)生成をさらに強化する。
  論文  参考訳（メタデータ） (2025-07-11T09:32:45Z)
• ReasonGen-R1: CoT for Autoregressive Image generation models through SFT and RL [54.100889131719626]
  連鎖推論と強化学習がNLPの突破口となった。 我々はReasonGen-R1を紹介した。ReasonGen-R1は自動回帰画像生成器に明示的なテキストベースの「思考」スキルを付与するフレームワークである。 ReasonGen-R1は、強いベースラインや先行技術モデルよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-30T17:59:48Z)
• Frequency Autoregressive Image Generation with Continuous Tokens [31.833852108014312]
  本稿では、周波数プログレッシブ自己回帰(textbfFAR)パラダイムを導入し、連続トークン化器を用いてFARをインスタンス化する。 我々は、ImageNetデータセットの総合的な実験を通して、FARの有効性を実証する。
  論文  参考訳（メタデータ） (2025-03-07T10:34:04Z)
• Stabilize the Latent Space for Image Autoregressive Modeling: A Unified Perspective [52.778766190479374]
  遅延ベース画像生成モデルは、画像生成タスクにおいて顕著な成功を収めた。 同じ遅延空間を共有するにもかかわらず、自己回帰モデルは画像生成において LDM や MIM よりもかなり遅れている。 本稿では,画像生成モデルのための遅延空間を安定化する,単純だが効果的な離散画像トークン化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-16T12:13:17Z)
• Reinforcement Learning from Diffusion Feedback: Q* for Image Search [2.5835347022640254]
  モデル非依存学習を用いた画像生成のための2つのモデルを提案する。 RLDFは、事前保存された報酬関数誘導による視覚模倣のための特異なアプローチである。 クラス一貫性と強力な視覚的多様性を示す様々な領域にまたがる高品質な画像を生成する。
  論文  参考訳（メタデータ） (2023-11-27T09:20:12Z)
• Not All Image Regions Matter: Masked Vector Quantization for Autoregressive Image Generation [78.13793505707952]
  既存の自己回帰モデルは、まず画像再構成のための潜伏空間のコードブックを学習し、学習したコードブックに基づいて自己回帰的に画像生成を完了する2段階生成パラダイムに従っている。 そこで本研究では,Masked Quantization VAE (MQ-VAE) Stackモデルを用いた2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T02:15:53Z)
• Exploring Stochastic Autoregressive Image Modeling for Visual Representation [24.582376834198403]
  本稿では,2つの簡単な設計による自己回帰画像モデリング(SAIM)を提案する。 予測と並列エンコーダデコーダの導入により,SAIMは自己回帰画像モデリングの性能を著しく向上させる。 提案手法は,ImageNet-1Kデータのみを用いて,バニラVTベースモデル上で最高の精度(83.9%)を実現する。
  論文  参考訳（メタデータ） (2022-12-03T13:04:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。