論文の概要: Ming-Omni: A Unified Multimodal Model for Perception and Generation
- arxiv url: http://arxiv.org/abs/2506.09344v1
- Date: Wed, 11 Jun 2025 02:50:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-13 06:35:02.249218
- Title: Ming-Omni: A Unified Multimodal Model for Perception and Generation
- Title（参考訳）: Ming-Omni: 知覚と生成のための統一型マルチモーダルモデル
- Abstract要約: 本稿では,画像,テキスト,音声,ビデオの処理が可能な統合マルチモーダルモデルを提案する。
Ming-Omniは専用エンコーダを使用して異なるモダリティからトークンを抽出し、Lingによって処理する。
Ming-Omniは、オーディオと画像生成をサポートすることで、従来のマルチモーダルモデルを超えて拡張する。
- 参考スコア（独自算出の注目度）: 69.82909107437777
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose Ming-Omni, a unified multimodal model capable of processing images, text, audio, and video, while demonstrating strong proficiency in both speech and image generation. Ming-Omni employs dedicated encoders to extract tokens from different modalities, which are then processed by Ling, an MoE architecture equipped with newly proposed modality-specific routers. This design enables a single model to efficiently process and fuse multimodal inputs within a unified framework, thereby facilitating diverse tasks without requiring separate models, task-specific fine-tuning, or structural redesign. Importantly, Ming-Omni extends beyond conventional multimodal models by supporting audio and image generation. This is achieved through the integration of an advanced audio decoder for natural-sounding speech and Ming-Lite-Uni for high-quality image generation, which also allow the model to engage in context-aware chatting, perform text-to-speech conversion, and conduct versatile image editing. Our experimental results showcase Ming-Omni offers a powerful solution for unified perception and generation across all modalities. Notably, our proposed Ming-Omni is the first open-source model we are aware of to match GPT-4o in modality support, and we release all code and model weights to encourage further research and development in the community.
- Abstract（参考訳）: 本稿では,画像,テキスト,音声,ビデオの処理が可能な統合マルチモーダルモデルであるMing-Omniを提案する。
Ming-Omniは専用のエンコーダを使用して異なるモダリティからトークンを抽出し、新たに提案されたモダリティ固有のルータを備えたMoEアーキテクチャであるLingで処理する。
この設計により、単一モデルは統一されたフレームワーク内で効率的にマルチモーダル入力を処理および融合することができ、それによって、個別のモデル、タスク固有の微調整、構造的な再設計を必要とせずに、多様なタスクを容易にすることができる。
重要なのは、Ming-Omniが従来のマルチモーダルモデルを超えて、オーディオと画像生成をサポートすることだ。
これは、自然言語音声のための高度なオーディオデコーダと、高品質な画像生成のためのMing-Lite-Uniを統合することで実現される。
実験結果から,Ming-Omniはすべてのモダリティに対して統一された知覚と生成のための強力なソリューションを提供することが示された。
特に、提案したMing-Omniは、GPT-4oとモダリティサポートで一致した最初のオープンソースモデルです。
関連論文リスト
- Awaking Spatial Intelligence in Unified Multimodal Understanding and Generation [68.03746493619285]
視覚理解,テキスト・ツー・イメージ生成,指導誘導画像編集のための統合マルチモーダル基盤モデルであるJoyAI-Imageを提案する。
我々は,一貫した命令チューニング,長文レンダリングの監督,空間的接地データ,一般および空間的編集信号を組み合わせたスケーラブルなトレーニングレシピを構築した。
JoyAI-Imageは、理解、生成、長文レンダリング、および編集ベンチマークにまたがる実験により、最先端または競争力の高いパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-05-05T15:49:47Z) - AR-Omni: A Unified Autoregressive Model for Any-to-Any Generation [60.02195766025208]
我々は、専門家のデコーダを使わずに、自己回帰パラダイムにおける統一された任意のモデルであるAR-Omniを提案する。
AR-Omniは自動回帰テキストと画像生成をサポートし、ストリーミング音声生成もサポートしている。
タスク認識損失再重み付けによるモダリティ不均衡、画像トークンに対する軽量トークンレベルの知覚的アライメント損失による視覚的忠実度、有限状態復号機構による安定性・創造性トレードオフの3つの実践的問題に対処する。
論文 参考訳（メタデータ） (2026-01-25T09:17:36Z) - TUNA: Taming Unified Visual Representations for Native Unified Multimodal Models [96.41974190202642]
統一マルチモーダルモデル(UMM)は,単一のフレームワーク内でのマルチモーダル理解と生成を共同で行うことを目的としている。
本稿では、VAEエンコーダを表現エンコーダでカスケードすることで、統一された連続的な視覚表現を構築するネイティブUMMであるTUNAを提案する。
論文 参考訳（メタデータ） (2025-12-01T18:59:51Z) - Lumina-DiMOO: An Omni Diffusion Large Language Model for Multi-Modal Generation and Understanding [134.93925077411564]
Lumina-DiMOOは、シームレスなマルチモーダル生成と理解のためのオープンソースの基礎モデルである。
完全に離散的な拡散モデリングを使用して、様々なモードにわたる入力と出力を処理する。
複数のベンチマークで最先端のパフォーマンスを実現し、既存のオープンソース統一マルチモーダルモデルを上回っている。
論文 参考訳（メタデータ） (2025-10-07T17:59:20Z) - Query-Kontext: An Unified Multimodal Model for Image Generation and Editing [53.765351127477224]
統一マルチモーダルモデル(UMM)はテキスト・ツー・イメージ生成(T2I)と編集(TI2I)において顕著な性能を示した。
本稿では,マルチモーダル入力から符号化されたセマンティックキューと粗粒度画像条件からなるマルチモーダルコンテクス」を用いて,VLMと拡散モデルをブリッジする新しいアプローチであるQuery-Kontextを紹介する。
実験により,本手法は強い統一ベースラインと一致し,いくつかのケースにおいてタスク固有の最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2025-09-30T17:59:46Z) - Mogao: An Omni Foundation Model for Interleaved Multi-Modal Generation [54.588082888166504]
我々は、因果アプローチを通じてインターリーブされたマルチモーダル生成を可能にする統一的なフレームワークであるMogaoを提案する。
Mogooは、Deep-fusion設計、デュアルビジョンエンコーダ、インターリーブされた回転位置埋め込み、マルチモーダル分類器フリーガイダンスなど、アーキテクチャ設計における重要な技術的改善のセットを統合している。
実験により,モガオはマルチモーダル理解とテキスト・ツー・イメージ生成において最先端の性能を発揮するとともに,高品質でコヒーレントなインターリーブ・アウトプットの創出にも優れていることが示された。
論文 参考訳（メタデータ） (2025-05-08T17:58:57Z) - Ming-Lite-Uni: Advancements in Unified Architecture for Natural Multimodal Interaction [38.36977286879692]
Ming-Lite-Uniは、統一されたビジュアルジェネレータとマルチモーダル自動回帰モデルを備えたオープンソースのフレームワークである。
Ming-Lite-Uniはアルファ段階にあり、間もなく改良される。
論文 参考訳（メタデータ） (2025-05-05T08:56:12Z) - Unified Multimodal Discrete Diffusion [78.48930545306654]
複数のモードをまたいだ理解と生成が可能なマルチモーダル生成モデルは、自己回帰(AR)アプローチによって支配される。
共同テキストと画像領域の統一的な生成形式としての離散拡散モデルについて検討する。
テキストと画像の共同理解・生成が可能なUnified Multimodal Discrete Diffusion (UniDisc) モデルを提案する。
論文 参考訳（メタデータ） (2025-03-26T17:59:51Z) - Unified-IO 2: Scaling Autoregressive Multimodal Models with Vision,
Language, Audio, and Action [46.76487873983082]
Unified-IO 2は、画像、テキスト、オーディオ、アクションの理解と生成が可能な最初の自己回帰型マルチモーダルモデルである。
我々は、多様な情報源から、大規模なマルチモーダル事前学習コーパスをスクラッチからトレーニングする。
単一の統一モデルにより、Unified-IO 2はGRITベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-12-28T17:57:06Z) - Apollo: Zero-shot MultiModal Reasoning with Multiple Experts [14.359111652624899]
異なるモダリティやドメインにまたがって、異なる基礎モデルの専門知識を活用するモジュラーフレームワークを提案する。
我々のアプローチは、分散化されたコマンド実行を可能にし、各モデルが他のモデルの専門知識から貢献と利益を得られるようにします。
提案手法は,画像と音声が付与され,提供された音声のコンテキスト内で画像を記述するテキストを生成する,新たなタスクである音声認識画像キャプションで実証する。
論文 参考訳（メタデータ） (2023-10-25T22:36:40Z) - ONE-PEACE: Exploring One General Representation Model Toward Unlimited
Modalities [71.15303690248021]
ONE-PEACEは、4Bパラメータを持つ高モデルで、視覚、オーディオ、言語モダリティ間の表現をシームレスに整列し統合することができる。
ONE-PEACEのアーキテクチャは、モダリティアダプタ、共有自己アテンション層、およびモダリティFFNからなる。
スケーラビリティに優しいアーキテクチャと事前トレーニングタスクにより、ONE-PEACEは無制限のモダリティに拡張する可能性がある。
論文 参考訳（メタデータ） (2023-05-18T17:59:06Z) - mPLUG-2: A Modularized Multi-modal Foundation Model Across Text, Image
and Video [89.19867891570945]
mPLUG-2は、マルチモーダル事前訓練のためのモジュール化された設計を備えた新しい統一パラダイムである。
モダリティ協力のための共通普遍加群を共有し、モダリティの絡み合いを扱うために異なるモダリティ加群を切り離す。
テキスト、画像、ビデオを含むすべてのモダリティの異なる理解タスクと生成タスクのために、異なるモジュールを選択することは柔軟です。
論文 参考訳（メタデータ） (2023-02-01T12:40:03Z) - Unified Discrete Diffusion for Simultaneous Vision-Language Generation [78.21352271140472]
本稿では,「モダリティ変換」タスクと「マルチモダリティ生成」タスクの両方を実行することができる統一型マルチモーダル生成モデルを提案する。
具体的には,マルチモーダル信号の離散拡散過程を統一遷移行列を用いて統一する。
提案手法は, 様々な生成タスクにおいて, 最先端のソリューションと同等に動作可能である。
論文 参考訳（メタデータ） (2022-11-27T14:46:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。