論文の概要: STAR: STacked AutoRegressive Scheme for Unified Multimodal Learning

• arxiv url: http://arxiv.org/abs/2512.13752v1
• Date: Mon, 15 Dec 2025 07:02:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-17 16:49:26.427609
• Title: STAR: STacked AutoRegressive Scheme for Unified Multimodal Learning
• Title（参考訳）: STAR: 統一型マルチモーダル学習のための自動回帰スキーム
• Authors: Jie Qin, Jiancheng Huang, Limeng Qiao, Lin Ma,
• Abstract要約: STAR:STacked AutoRegressive scheme for task-progressive unified multimodal learning。 このアプローチはマルチモーダル学習を理解、生成、編集という複数の段階に分解する。 実験により、STARがGenEval(0.91)、DPG-Bench(87.44)、ImgEdit(4.34)の最先端性能を達成することが示された。
• 参考スコア（独自算出の注目度）: 37.68078190711403
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multimodal large language models (MLLMs) play a pivotal role in advancing the quest for general artificial intelligence. However, achieving unified target for multimodal understanding and generation remains challenging due to optimization conflicts and performance trade-offs. To effectively enhance generative performance while preserving existing comprehension capabilities, we introduce STAR: a STacked AutoRegressive scheme for task-progressive unified multimodal learning. This approach decomposes multimodal learning into multiple stages: understanding, generation, and editing. By freezing the parameters of the fundamental autoregressive (AR) model and progressively stacking isomorphic AR modules, it avoids cross-task interference while expanding the model's capabilities. Concurrently, we introduce a high-capacity VQ to enhance the granularity of image representations and employ an implicit reasoning mechanism to improve generation quality under complex conditions. Experiments demonstrate that STAR achieves state-of-the-art performance on GenEval (0.91), DPG-Bench (87.44), and ImgEdit (4.34), validating its efficacy for unified multimodal learning.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、汎用人工知能の探求において重要な役割を担っている。 しかし,マルチモーダル理解と生成の統一的目標達成は,最適化競合や性能トレードオフのため,依然として困難である。 既存の理解能力を維持しつつ生成性能を効果的に向上させるため,STAR:STacked AutoRegressive scheme for task-progressive unified multimodal learningを提案する。 このアプローチはマルチモーダル学習を理解、生成、編集という複数の段階に分解する。 基本自己回帰(AR)モデルのパラメータを凍結し、漸進的に同型ARモジュールを積み上げることにより、モデルの能力を拡張しながら、クロスタスク干渉を回避する。 同時に、画像表現の粒度を高めるために高容量VQを導入し、複雑な条件下で生成品質を向上させるために暗黙の推論機構を用いる。 実験により、STARはGenEval(0.91)、DPG-Bench(87.44)、ImgEdit(4.34)で最先端のパフォーマンスを達成し、統一マルチモーダル学習の有効性を検証した。

関連論文リスト

• UME-R1: Exploring Reasoning-Driven Generative Multimodal Embeddings [70.60608084375691]
  我々は、生成的埋め込みの探索の先駆者であり、生成的パラダイム内の埋め込みタスクを統合する。 UME-R1は,2段階のトレーニング戦略からなる汎用なマルチモーダル埋め込みフレームワークである。 ビデオ、画像、ビジュアルドキュメントにまたがる78タスクにわたるMMEB-V2ベンチマークで評価した。
  論文  参考訳（メタデータ） (2025-11-01T05:04:23Z)
• OneCAT: Decoder-Only Auto-Regressive Model for Unified Understanding and Generation [91.45421429922506]
  OneCATは、理解、生成、編集をシームレスに統合する統合マルチモーダルモデルである。 我々のフレームワークは、推論中に視覚変換器(ViT)や視覚トークン化器などの外部コンポーネントを不要にする。
  論文  参考訳（メタデータ） (2025-09-03T17:29:50Z)
• FUDOKI: Discrete Flow-based Unified Understanding and Generation via Kinetic-Optimal Velocities [76.46448367752944]
  MLLM(Multimodal large language model)は、単一のフレームワーク内で視覚的理解と画像生成を統一する言語である。 ほとんどの既存のMLLMはAutore(AR)アーキテクチャに依存しており、将来の開発に固有の制限を課している。 本稿では,離散フローマッチングに基づく統一マルチモーダルモデルであるFUDOKIを紹介する。
  論文  参考訳（メタデータ） (2025-05-26T15:46:53Z)
• CAFe: Unifying Representation and Generation with Contrastive-Autoregressive Finetuning [24.981279071712173]
  本稿では,LVLMを表現タスクと生成タスクの両方に拡張する,対照的に自己回帰的な微調整フレームワークであるCAFeを紹介する。 提案手法は,従来のタスクを統一し,マルチモーダル検索とマルチモーダル生成ベンチマークの両面で最先端の結果を得る。
  論文  参考訳（メタデータ） (2025-03-25T17:57:17Z)
• SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding [66.74446220401296]
  画像の理解と生成の両方が可能なシンプルだが強力なエンコーダのないMLLMであるSynerGen-VLを提案する。 トークンの折り畳み機構と,高分解能画像理解を効果的に支援するビジョンエキスパートベースのプログレッシブアライメント事前学習戦略を導入する。 コードとモデルはリリースされます。
  論文  参考訳（メタデータ） (2024-12-12T18:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。