論文の概要: ARM: An AutoRegressive Large Multimodal Model with Unified Discrete Representations

• arxiv url: http://arxiv.org/abs/2606.11188v1
• Date: Tue, 09 Jun 2026 17:59:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.665329
• Title: ARM: An AutoRegressive Large Multimodal Model with Unified Discrete Representations
• Title（参考訳）: ARM: 離散表現を統一した自動回帰型大規模マルチモーダルモデル
• Authors: Junke Wang, Xiao Wang, Jiacheng Pan, Xuefeng Hu, Feng Li, Jingxiang Sun, Chaorui Deng, Zilong Chen, Yunpeng Chen, Kaibin Tian, Matthew Gwilliam, Hao Chen, Danhui Guan, Kun Xu, Weilin Huang, Zuxuan Wu, Haoqi Fan, Yu-Gang Jiang, Zhenheng Yang,
• Abstract要約: ARMは、画像の理解、生成、編集を統一する表現ベースのAutoRegressive Modelである。 我々のトークンライザは、意味的識別性、言語アライメント、忠実な再構築を共同で促進する複数の目的で管理されている。 最後に、ARMは、視覚的品質、命令順守、編集一貫性といったタスクレベルの目標を最適化するために強化学習を適用している。
• 参考スコア（独自算出の注目度）: 84.45092853572407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces ARM, a discrete representation-based AutoRegressive Model that unifies image understanding, generation, and editing within a next-token prediction framework. ARM is built on three efforts: first, we train a discrete semantic visual tokenizer that maps images into compact token sequences. Our tokenizer is supervised with multiple objectives that jointly promote semantic discriminability, language alignment and faithful reconstruction, thereby supporting diverse tasks in a shared latent space. With this, we train a 7B autoregressive model over large-scale text and image token sequences, seamlessly developing vision-language perception and generation capabilities. Finally, to further improve preference-aligned behavior for text-to-image generation and instruction-guided editing, ARM applies reinforcement learning (RL) to optimize task-level objectives such as visual quality, instruction adherence, and edit consistency. Surprisingly, the results show that RL not only substantially improves performance on the target tasks (e.g., raising WISE overall from 0.50 to 0.56, GEdit-Bench-EN G_O from 5.75 to 6.68), but also induces cross-task synergy between text-to-image generation and editing. Collectively, these findings highlight autoregressive modeling, when paired with strong representations and preference optimization, as a scalable foundation for multimodal intelligence. Code: https://github.com/wdrink/ARM.
• Abstract（参考訳）: 本稿では、画像理解、生成、編集を次世代の予測フレームワーク内で統合する、離散表現に基づくAutoRegressive ModelであるARMを紹介する。 まず、イメージをコンパクトなトークンシーケンスにマッピングする、個別のセマンティックなビジュアルトークンライザをトレーニングします。 我々のトークンライザは, 意味的識別性, 言語アライメント, 忠実な再構築を共同で促進し, 多様なタスクを共有潜在空間で支援する, 複数の目的を担っている。 これにより、大規模テキストおよび画像トークンシーケンス上で7B自己回帰モデルをトレーニングし、視覚言語認識と生成能力をシームレスに開発する。 最後に、テキスト・ツー・イメージ生成と命令誘導編集の嗜好整合性を改善するために、ARMは、視覚的品質、命令順守、編集整合性といったタスクレベルの目的を最適化するために強化学習(RL)を適用した。 驚くべきことに、RLはターゲットタスクの性能を大幅に向上するだけでなく(例:WISEを0.50から0.56に引き上げ、GEdit-Bench-EN G_Oを5.75から6.68に引き上げる)、テキスト・画像生成と編集のクロスタスクの相乗効果も引き起こす。 これらの知見は,マルチモーダルインテリジェンスのためのスケーラブルな基盤として,強い表現と好みの最適化を組み合わせた自己回帰モデリングに着目する。 コード:https://github.com/wdrink/ARM

関連論文リスト

• EchoGen: Cycle-Consistent Learning for Unified Layout-Image Generation and Understanding [21.73510227758125]
  EchoGenはレイアウト・ツー・イメージ生成と画像グラウンドのための統合されたフレームワークである。 画像グラウンドには強いテキストとレイアウト理解能力があり、レイアウト・ツー・イメージ生成の限界を補うことができる。 レイアウトから生成された画像は、内容の多様性が高く、画像グラウンド化の堅牢性を高める。
  論文  参考訳（メタデータ） (2026-03-18T17:59:03Z)
• UniWeTok: An Unified Binary Tokenizer with Codebook Size $\mathit{2^{128}}$ for Unified Multimodal Large Language Model [50.68870074090426]
  我々はUniWeTokを紹介した。UniWeTokはUniified Multimodal Large Language Modelsのための統一された離散トークンである。 トレーニングフレームワークとして,個別トークンのセマンティックな抽出と生成を促進するために,プレポスト蒸留とジェネレーティブ・アウェア・プレファレンスを導入する。 我々は,UniWeTokの適応性を高めるために,様々な画像解像度と知覚に敏感なシナリオを横断する3段階のトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-15T15:07:19Z)
• IAR2: Improving Autoregressive Visual Generation with Semantic-Detail Associated Token Prediction [77.06211178777939]
  IAR2は、階層的なセマンティックディーテール合成プロセスを可能にする高度な自己回帰フレームワークである。 我々は、IAR2が自動回帰画像生成のための新しい最先端技術を設定し、ImageNet上で1.50のFIDを達成することを示す。
  論文  参考訳（メタデータ） (2025-10-08T12:08:21Z)
• Harmonizing Visual Representations for Unified Multimodal Understanding and Generation [53.01486796503091]
  我々は,共有MARエンコーダによる理解と生成タスクを調和させる統合自己回帰フレームワークであるemphHarmonを提案する。 HarmonはGenEval、MJHQ30K、WISEベンチマークで最先端の画像生成結果を達成する。
  論文  参考訳（メタデータ） (2025-03-27T20:50:38Z)
• Unified Autoregressive Visual Generation and Understanding with Continuous Tokens [52.21981295470491]
  We present UniFluid, a unified autoregressive framework for joint visual generation and understanding。 我々の統合自己回帰アーキテクチャはマルチモーダル画像とテキスト入力を処理し、テキストの離散トークンと画像の連続トークンを生成する。 画像生成と理解タスクの間には本質的にトレードオフがあることに気付きましたが、注意深く調整されたトレーニングレシピによって互いに改善できるようになりました。
  論文  参考訳（メタデータ） (2025-03-17T17:58:30Z)
• UniCMs: A Unified Consistency Model For Efficient Multimodal Generation and Understanding [12.34529497235534]
  一貫性モデル(CM)は、画像とテキストの両方を効率的に生成する可能性を示している。 主な課題は、画像生成とテキスト生成の両方に統一された認知的視点を確立することである。 テキスト・画像生成では、UniCMはGenEval、Image Reward、CLIPスコアでSD3を上回っている。 画像からテキスト生成では、UniCMはMMMUベンチマークのShow-oを上回り、ロングシーケンス生成速度では1.5倍高速である。
  論文  参考訳（メタデータ） (2025-02-08T02:52:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。