論文の概要: UGen: Unified Autoregressive Multimodal Model with Progressive Vocabulary Learning

• arxiv url: http://arxiv.org/abs/2503.21193v1
• Date: Thu, 27 Mar 2025 06:19:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 18:49:11.411219
• Title: UGen: Unified Autoregressive Multimodal Model with Progressive Vocabulary Learning
• Title（参考訳）: UGen: 進歩的な語彙学習を伴う統一自己回帰型マルチモーダルモデル
• Authors: Hongxuan Tang, Hao Liu, Xinyan Xiao,
• Abstract要約: UGenは統合された自己回帰型マルチモーダルモデルであり、テキスト処理、画像理解、画像生成タスクを同時に行う強力なパフォーマンスを示す。 統一マルチモーダル学習に関連する課題に対処するために、UGenは、新しいメカニズム、すなわちプログレッシブ語彙学習を用いて訓練される。
• 参考スコア（独自算出の注目度）: 24.792798238358717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce UGen, a unified autoregressive multimodal model that demonstrates strong performance across text processing, image understanding, and image generation tasks simultaneously. UGen converts both texts and images into discrete token sequences and utilizes a single transformer to generate them uniformly in an autoregressive manner. To address the challenges associated with unified multimodal learning, UGen is trained using a novel mechanism, namely progressive vocabulary learning. In this process, visual token IDs are incrementally activated and integrated into the training phase, ultimately enhancing the effectiveness of unified multimodal learning. Experiments on comprehensive text and image tasks show that UGen achieves a significant overall performance improvement of 13.3% compared to the vanilla unified autoregressive method, and it also delivers competitive results across all tasks against several task-specific models.
• Abstract（参考訳）: テキスト処理, 画像理解, 画像生成タスクを同時に行うことで, 高い性能を示す統合自己回帰型マルチモーダルモデルであるUGenを紹介する。 UGenはテキストと画像を個別のトークンシーケンスに変換し、単一のトランスフォーマーを使用して自動回帰的に生成する。 統一マルチモーダル学習に関連する課題に対処するために、UGenは、新しいメカニズム、すなわちプログレッシブ語彙学習を用いて訓練される。 このプロセスでは、視覚トークンIDが漸進的に活性化され、トレーニングフェーズに統合され、最終的には統合マルチモーダル学習の有効性が向上する。 総合的なテキストおよびイメージタスクの実験では、UGenはバニラ統合自己回帰法と比較して13.3%の大幅な全体的なパフォーマンス向上を実現しており、またタスク固有の複数のモデルに対して全てのタスク間で競合結果を提供する。

関連論文リスト

• Harmonizing Visual Representations for Unified Multimodal Understanding and Generation [53.01486796503091]
  我々は,共有MARエンコーダによる理解と生成タスクを調和させる統合自己回帰フレームワークであるemphHarmonを提案する。 HarmonはGenEval、MJHQ30K、WISEベンチマークで最先端の画像生成結果を達成する。
  論文  参考訳（メタデータ） (2025-03-27T20:50:38Z)
• Unified Autoregressive Visual Generation and Understanding with Continuous Tokens [52.21981295470491]
  We present UniFluid, a unified autoregressive framework for joint visual generation and understanding。 我々の統合自己回帰アーキテクチャはマルチモーダル画像とテキスト入力を処理し、テキストの離散トークンと画像の連続トークンを生成する。 画像生成と理解タスクの間には本質的にトレードオフがあることに気付きましたが、注意深く調整されたトレーニングレシピによって互いに改善できるようになりました。
  論文  参考訳（メタデータ） (2025-03-17T17:58:30Z)
• SemHiTok: A Unified Image Tokenizer via Semantic-Guided Hierarchical Codebook for Multimodal Understanding and Generation [73.98487014058286]
  SemHiTokは、Semantic-Guided Hierarchical Codebookを介して統合された画像トークンである。 SemHiTokは、他の統一トークン化器と比較して256X256解像度で優れたrFIDスコアが得られることを示す。
  論文  参考訳（メタデータ） (2025-03-09T20:42:34Z)
• VARGPT: Unified Understanding and Generation in a Visual Autoregressive Multimodal Large Language Model [38.61292051733335]
  VARGPTは,単一の自己回帰フレームワーク内で視覚的理解と生成を統一する,新しいマルチモーダル大規模言語モデルである。 VarGPTは視覚理解のための次世代予測パラダイムと、視覚自己回帰生成のための次世代予測パラダイムを採用している。 特に、VARGPTは自己回帰的視覚生成と命令-画像合成の能力を自然にサポートし、視覚的理解と生成の両タスクにおいてその汎用性を示す。
  論文  参考訳（メタデータ） (2025-01-21T17:50:43Z)
• Lumina-mGPT: Illuminate Flexible Photorealistic Text-to-Image Generation with Multimodal Generative Pretraining [48.98105914356609]
  ルミナ-mGPT (Lumina-mGPT) は、様々な視覚と言語を扱える多モード自動回帰モデルのファミリーである。 我々は,Ominiponent Supervised Finetuningを導入し,Lumina-mGPTを全能タスク統一をシームレスに達成する基礎モデルに変換する。
  論文  参考訳（メタデータ） (2024-08-05T17:46:53Z)
• Instruct-Imagen: Image Generation with Multi-modal Instruction [90.04481955523514]
  Instruct-imagenは、不均一な画像生成タスクに取り組み、目に見えないタスクを一般化するモデルである。 画像生成のための*multi-modal instruction*を導入する。 画像生成データセットの人間による評価では、インストラクション・イメージはドメイン内の以前のタスク固有のモデルと一致するか、超えている。
  論文  参考訳（メタデータ） (2024-01-03T19:31:58Z)
• VL-GPT: A Generative Pre-trained Transformer for Vision and Language Understanding and Generation [79.02357561313785]
  視覚・言語データの同時認識・生成に長けたトランスモデルであるVL-GPT(Vision-Language Generative Pre-Traited Transformer)を導入する。 VL-GPTは、直感的な自己回帰的目的を用いることで、画像とテキストのモダリティを統一した事前学習アプローチを実現する。
  論文  参考訳（メタデータ） (2023-12-14T18:59:43Z)
• EVE: Efficient Vision-Language Pre-training with Masked Prediction and Modality-Aware MoE [66.48689706116808]
  効率的なビジョン・ランガグ(Efficient Vision-languagE)は、1つの統合された事前訓練タスクによってのみ事前訓練された1つの統合マルチモーダルトランスである。 Eveは、Modality-aware sparse Mixture-of-Expertsと統合された共有トランスフォーマーネットワーク内の視覚と言語をエンコードする。 Eveは、視覚的質問応答、視覚的推論、画像テキスト検索など、様々な視覚言語下流タスクにおける最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-08-23T07:36:30Z)
• Unifying Multimodal Transformer for Bi-directional Image and Text Generation [8.547205551848462]
  本研究では,自然な双方向タスクである画像・テキスト・テキスト・画像世代の共同学習について検討する。 双方向タスクを共同で研究するために,単一のマルチモーダルモデルに基づく統合画像・テキスト生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-19T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。