Fugu-MT 論文翻訳(概要): Show-o2: Improved Native Unified Multimodal Models

論文の概要: Show-o2: Improved Native Unified Multimodal Models

arxiv url: http://arxiv.org/abs/2506.15564v1
Date: Wed, 18 Jun 2025 15:39:15 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-19 19:35:51.721813
Title: Show-o2: Improved Native Unified Multimodal Models
Title（参考訳）: Show-o2: ネイティブ統一マルチモーダルモデルの改善
Authors: Jinheng Xie, Zhenheng Yang, Mike Zheng Shou,
Abstract要約: Show-o2は、自動回帰モデリングとフローマッチングを利用するネイティブ統合マルチモーダルモデルである。 3次元因果変分オートエンコーダ空間上に構築され、空間的(時間的)融合の二重経路によって統一された視覚表現が構成される。
参考スコア（独自算出の注目度）: 21.78513101265258
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper presents improved native unified multimodal models, \emph{i.e.,} Show-o2, that leverage autoregressive modeling and flow matching. Built upon a 3D causal variational autoencoder space, unified visual representations are constructed through a dual-path of spatial (-temporal) fusion, enabling scalability across image and video modalities while ensuring effective multimodal understanding and generation. Based on a language model, autoregressive modeling and flow matching are natively applied to the language head and flow head, respectively, to facilitate text token prediction and image/video generation. A two-stage training recipe is designed to effectively learn and scale to larger models. The resulting Show-o2 models demonstrate versatility in handling a wide range of multimodal understanding and generation tasks across diverse modalities, including text, images, and videos. Code and models are released at https://github.com/showlab/Show-o.
Abstract（参考訳）: 本稿では, 自己回帰モデルとフローマッチングを利用するネイティブ統一型マルチモーダルモデル, \emph{i.e.} Show-o2を提案する。 3次元因果変分オートエンコーダ空間上に構築され、空間的(時間的)融合の二重パスによって統合された視覚表現が構築され、画像とビデオのモダリティ間のスケーラビリティを実現し、効果的なマルチモーダル理解と生成を確実にする。言語モデルに基づいて、自動回帰モデリングとフローマッチングを言語ヘッドとフローヘッドにそれぞれネイティブに適用し、テキストトークン予測と画像/ビデオ生成を容易にする。 2段階のトレーニングレシピは、より大きなモデルに効果的に学習し、スケールするように設計されている。結果として得られたShow-o2モデルは、テキスト、画像、ビデオを含む様々なモダリティにわたる幅広いマルチモーダル理解および生成タスクを扱う上で、汎用性を示す。コードとモデルはhttps://github.com/showlab/Show-o.comで公開されている。

関連論文リスト

Unified Multimodal Discrete Diffusion [78.48930545306654]
複数のモードをまたいだ理解と生成が可能なマルチモーダル生成モデルは、自己回帰(AR)アプローチによって支配される。共同テキストと画像領域の統一的な生成形式としての離散拡散モデルについて検討する。テキストと画像の共同理解・生成が可能なUnified Multimodal Discrete Diffusion (UniDisc) モデルを提案する。
論文参考訳（メタデータ） (2025-03-26T17:59:51Z)
Dual Diffusion for Unified Image Generation and Understanding [32.7554623473768]
マルチモーダル理解と生成のための大規模かつ完全なエンドツーエンド拡散モデルを提案する。我々は、画像とテキストの条件付き確率を同時にトレーニングするクロスモーダル最大推定フレームワークを活用する。我々のモデルは、最近の統合画像理解・生成モデルと比較して、競争性能が向上した。
論文参考訳（メタデータ） (2024-12-31T05:49:00Z)
Show-o: One Single Transformer to Unify Multimodal Understanding and Generation [24.58881004205822]
マルチモーダル理解と生成を統一する統一変換器,すなわちShow-oを提案する。完全自己回帰モデルとは異なり、Show-oは自己回帰と(離散的な)拡散モデリングを統一し、様々な混合モダリティの入力と出力を適応的に処理する。
論文参考訳（メタデータ） (2024-08-22T16:32:32Z)
SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation [61.392147185793476]
統一的で汎用的な基礎モデル、すなわちSEED-Xを提案する。 SEED-Xは、理解および生成タスクのための多粒度視覚意味論をモデル化することができる。我々の研究が、現実世界のアプリケーションで多目的なマルチモーダル基盤モデルによって達成できるものについて、将来の研究に刺激を与えることを期待しています。
論文参考訳（メタデータ） (2024-04-22T17:56:09Z)
Unified-IO 2: Scaling Autoregressive Multimodal Models with Vision, Language, Audio, and Action [46.76487873983082]
Unified-IO 2は、画像、テキスト、オーディオ、アクションの理解と生成が可能な最初の自己回帰型マルチモーダルモデルである。我々は、多様な情報源から、大規模なマルチモーダル事前学習コーパスをスクラッチからトレーニングする。単一の統一モデルにより、Unified-IO 2はGRITベンチマークで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2023-12-28T17:57:06Z)
Scaling Autoregressive Multi-Modal Models: Pretraining and Instruction Tuning [115.50132185963139]
CM3Leonはデコーダのみのマルチモーダル言語モデルであり、テキストと画像の両方を生成および埋め込むことができる。これは、テキストのみの言語モデルに適応したレシピで訓練された最初のマルチモーダルモデルである。 CM3Leonは、同等の手法よりも5倍少ないトレーニング計算で、テキストから画像生成における最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2023-09-05T21:27:27Z)
LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image Diffusion Models with Large Language Models [62.75006608940132]
本研究は,テキストから画像への拡散モデルにおいて,迅速な理解能力を高めることを提案する。提案手法は,新たな2段階プロセスにおいて,事前訓練された大規模言語モデルを用いてグラウンドド生成を行う。提案手法は,画像の正確な生成において,ベース拡散モデルといくつかの強いベースラインを著しく上回る。
論文参考訳（メタデータ） (2023-05-23T03:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。