論文の概要: Intern Lumina U2: A Multi-Codebook Diffusion Large Language Model for Omni-Visual Understanding and Image Generation

• arxiv url: http://arxiv.org/abs/2610.20818v1
• Date: Wed, 14 Oct 2026 19:05:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.030819
• Title: Intern Lumina U2: A Multi-Codebook Diffusion Large Language Model for Omni-Visual Understanding and Image Generation
• Title（参考訳）: Intern Lumina U2:Omni-Visual Understanding and Image Generationのための多言語拡散大言語モデル
• Abstract要約: Intern Lumina U2は、完全に離散的な空間において、マルチコードブックの視覚トークンを表す最初の言語モデルである。 ATokenの統一された4D表現に基づいて構築されたIntern Lumina U2は、単一のバックボーン内での画像、ビデオ、および3D入力をサポートする。 AscendとNVIDIAのプラットフォーム上で、フルスタックのトレーニング、推論、評価システムを構築しています。
• 参考スコア（独自算出の注目度）: 105.49128894436323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unified multimodal generation covers discrete, continuous, and hybrid paradigms. Discrete approaches with single-codebook visual tokenizers align naturally with text modeling but have limited representational capacity. Continuous and hybrid approaches retain richer visual representations, but they model text and images in heterogeneous spaces with different training objectives, potentially introducing optimization conflicts between modalities with misaligned representation spaces. These choices expose a central question: how to efficiently model high-capacity visual representations alongside textual content in a shared optimization space within a single backbone. We present Intern Lumina U2, to our knowledge the first diffusion language model to represent multi-codebook visual tokens in a fully discrete space. Each visual position is represented by a group of codes from complementary codebooks, increasing its representational capacity while preserving compatibility with discrete text modeling. At the input, the embeddings are concatenated at each position; at the output, a lightweight multi-codebook autoregressive head predicts the codes within each position sequentially, while the diffusion backbone processes all positions in parallel. Built on the unified 4D representation of AToken, Intern Lumina U2 supports image, video, and 3D inputs within a single backbone and achieves leading performance among unified models in visual understanding, image generation, and image editing. We further build a full-stack training, inference, and evaluation system on both Ascend and NVIDIA platforms to verify the cross-platform effectiveness of our model. We also improve the inference efficiency through a stability-aware sampling strategy, which combines confidence-plateau-guided unmasking approach with drift-triggered cache refreshing mechanisms, accelerating image generation by 4.45x.
• Abstract（参考訳）: 統一マルチモーダル生成は離散的、連続的、ハイブリッドなパラダイムをカバーする。 シングルコードブックのビジュアルトークンによる離散的アプローチは、テキストモデリングと自然に一致しているが、表現能力は限られている。 連続的およびハイブリッドなアプローチは、よりリッチな視覚表現を保持するが、異なる訓練目的を持つ異種空間におけるテキストとイメージをモデル化し、不整合表現空間を持つモダリティ間の最適化競合を導入する可能性がある。 これらの選択は、単一のバックボーン内の共有最適化空間において、テキストコンテンツと並行して高容量の視覚表現を効率的にモデル化する方法という、中心的な疑問を浮き彫りにする。 Intern Lumina U2を、完全に離散的な空間におけるマルチコードブック視覚トークンを表す最初の拡散言語モデルとして、我々の知識に提示する。 各視覚位置は相補的なコードブックのコード群で表現され、個々のテキストモデリングとの互換性を維持しながら、その表現能力を高める。 出力では、軽量なマルチコードブック自動回帰ヘッドが各位置内のコードを逐次予測し、拡散バックボーンは全ての位置を並列に処理する。 ATokenの統一された4D表現に基づいて構築されたIntern Lumina U2は、単一のバックボーン内での画像、ビデオ、および3D入力をサポートし、視覚的理解、画像生成、画像編集において統一されたモデル間で主要なパフォーマンスを達成する。 さらに、AscendとNVIDIAのプラットフォーム上でフルスタックのトレーニング、推論、評価システムを構築し、私たちのモデルのクロスプラットフォームの有効性を検証する。 また、信頼板誘導型アンマスキング手法とドリフトトリガー方式のキャッシュリフレッシュ機構を併用し、画像生成を4.45倍高速化する安定型サンプリング戦略により、推論効率を向上する。

関連論文リスト

• Unified Multimodal Autoregressive Modeling with Shared Context-Visual Tokenizer is Key to Unification [80.62512020268626]
  UniARは統合された自己回帰フレームワークであり、単一のビジュアルトークン化器が理解と生成の鍵となる。 UniARは、マルチレベル特徴融合とルックアップフリービットワイド量子化スキームを備えた事前訓練されたビジョンエンコーダを適応する。 拡散に基づく視覚デコーダは、離散的な視覚トークンで高忠実度画像をデコードする。
  論文  参考訳（メタデータ） (2026-06-16T17:59:22Z)
• Cheers: Decoupling Patch Details from Semantic Representations Enables Unified Multimodal Comprehension and Generation [66.53544128707817]
  Cheersは、パッチレベルの詳細をセマンティック表現から切り離す、統一されたマルチモーダルモデルである。 チェアは視覚的理解と生成の両方において、高度なUMMと一致または超えます。
  論文  参考訳（メタデータ） (2026-03-13T08:55:27Z)
• Towards Generalized Multi-Image Editing for Unified Multimodal Models [56.620038824933566]
  統一マルチモーダルモデル(UMM)は、マルチモーダル理解と生成を統合する。 UMMは、複数の入力画像にまたがる詳細を参照する場合、視覚的一貫性の維持と視覚的手がかりの曖昧さに制限される。 画像の同一性を明確に識別し、可変入力数に一般化するUMMのためのスケーラブルなマルチイメージ編集フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-09T06:42:49Z)
• MANZANO: A Simple and Scalable Unified Multimodal Model with a Hybrid Vision Tokenizer [90.72238747690972]
  マルチモーダルな大規模言語モデルのためのシンプルでスケーラブルな統合フレームワークであるManzanoを紹介します。 単一の視覚エンコーダは、画像からテキストへの理解のための連続的な埋め込みを生成する2つのアダプタと、テキストから画像への生成のための離散トークンを提供する。 統合自己回帰LDMはテキストと画像トークンの形式で高レベルのセマンティクスを予測し、補助拡散デコーダで画像トークンをピクセルに変換する。
  論文  参考訳（メタデータ） (2025-09-19T17:58:00Z)
• Vision as a Dialect: Unifying Visual Understanding and Generation via Text-Aligned Representations [33.11867433769496]
  本稿では,共有意味表現における視覚的理解と生成を統一する枠組みを提案する。 中心となるのはText-Aligned Tokenizer (TA-Tok) で、これは大きな言語モデル(LLM)の語彙から投影されたテキスト整列コードブックを用いて画像を個別のトークンに変換する。 ベンチマークによる実験では、Tarは既存のマルチモーダルLLMメソッドと一致し、より高速な収束とトレーニング効率の向上を実現している。
  論文  参考訳（メタデータ） (2025-06-23T17:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。