論文の概要: M2-omni: Advancing Omni-MLLM for Comprehensive Modality Support with Competitive Performance

• arxiv url: http://arxiv.org/abs/2502.18778v1
• Date: Wed, 26 Feb 2025 03:21:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:59:11.075600
• Title: M2-omni: Advancing Omni-MLLM for Comprehensive Modality Support with Competitive Performance
• Title（参考訳）: M2-omni:Omni-MLLMの総合的なモダリティサポートと競争性能の向上
• Authors: Qingpei Guo, Kaiyou Song, Zipeng Feng, Ziping Ma, Qinglong Zhang, Sirui Gao, Xuzheng Yu, Yunxiao Sun, Tai-WeiChang, Jingdong Chen, Ming Yang, Jun Zhou,
• Abstract要約: M2-omniは、GPT-4oと競合する性能を実現する、最先端のオープンソースオムニ-MLLMである。 M2-omniは統合マルチモーダルシーケンスモデリングフレームワークを使用している。
• 参考スコア（独自算出の注目度）: 30.35167252453946
• License:
• Abstract: We present M2-omni, a cutting-edge, open-source omni-MLLM that achieves competitive performance to GPT-4o. M2-omni employs a unified multimodal sequence modeling framework, which empowers Large Language Models(LLMs) to acquire comprehensive cross-modal understanding and generation capabilities. Specifically, M2-omni can process arbitrary combinations of audio, video, image, and text modalities as input, generating multimodal sequences interleaving with audio, image, or text outputs, thereby enabling an advanced and interactive real-time experience. The training of such an omni-MLLM is challenged by significant disparities in data quantity and convergence rates across modalities. To address these challenges, we propose a step balance strategy during pre-training to handle the quantity disparities in modality-specific data. Additionally, a dynamically adaptive balance strategy is introduced during the instruction tuning stage to synchronize the modality-wise training progress, ensuring optimal convergence. Notably, we prioritize preserving strong performance on pure text tasks to maintain the robustness of M2-omni's language understanding capability throughout the training process. To our best knowledge, M2-omni is currently a very competitive open-source model to GPT-4o, characterized by its comprehensive modality and task support, as well as its exceptional performance. We expect M2-omni will advance the development of omni-MLLMs, thus facilitating future research in this domain.
• Abstract（参考訳）: GPT-4oと競合する性能を実現する,最先端のオープンソースOmni-MLLMであるM2-omniを提案する。 M2-omniは統合マルチモーダル・シーケンス・モデリング・フレームワークを採用しており、LLM(Large Language Models)を利用して総合的なクロスモーダル理解と生成機能を取得する。 具体的には、M2-omniは音声、ビデオ、画像、テキストの任意の組み合わせを入力として処理し、オーディオ、画像、テキスト出力と相互に交わるマルチモーダルシーケンスを生成することにより、高度でインタラクティブなリアルタイム体験を可能にする。 このようなOmni-MLLMのトレーニングは、データ量とモーダル間の収束率の相違により困難である。 これらの課題に対処するために、モーダリティ固有のデータの量格差を扱うための事前学習時のステップバランス戦略を提案する。 さらに、命令チューニング段階で動的適応バランス戦略を導入し、モダリティワイドトレーニングの進捗を同期させ、最適な収束を確保する。 特に、トレーニングプロセスを通してM2-omniの言語理解能力の堅牢性を維持するために、純粋テキストタスク上での強いパフォーマンスの保存を優先する。 我々の知る限り、M2-omniは現在、GPT-4oと非常に競合するオープンソースモデルであり、包括的なモダリティとタスクサポート、および例外的なパフォーマンスを特徴としている。 我々は、M2-omniがOmni-MLLMの開発を前進させ、この領域における今後の研究を促進することを期待する。

関連論文リスト

• Baichuan-Omni-1.5 Technical Report [78.49101296394218]
  Baichuan-Omni-1.5は、Omni-modalの理解能力だけでなく、エンドツーエンドのオーディオ生成機能も備えたOmni-modalモデルである。 マルチモーダルデータのための包括的データクリーニングと合成パイプラインを構築し,約500Bの高品質データを取得する。 第二に、音声トケナイザは、音声から意味情報と音響情報をキャプチャし、シームレスな統合とMLLMとの互換性の強化を可能にするように設計されている。
  論文  参考訳（メタデータ） (2025-01-26T02:19:03Z)
• Multimodal Fusion Balancing Through Game-Theoretic Regularization [22.959030061257533]
  アンサンブルのような単純なベースラインを超越したマルチモーダルモデルの訓練には,現在のバランス手法が苦戦していることを示す。 マルチモーダルトレーニングにおけるすべてのモダリティが十分にトレーニングされていること、新しいモダリティからの学習が一貫してパフォーマンスを改善することを保証するにはどうすればよいのか? 本稿では,相互情報(MI)分解にインスパイアされた新たな損失成分であるMCRを提案する。
  論文  参考訳（メタデータ） (2024-11-11T19:53:05Z)
• LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
  既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
  論文  参考訳（メタデータ） (2024-10-26T13:19:57Z)
• On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
  マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。 広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。 そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-15T13:15:50Z)
• ModalPrompt:Dual-Modality Guided Prompt for Continual Learning of Large Multimodal Models [40.7613157799378]
  大規模マルチモーダルモデル(LMM)は、混合データセットを共同で学習することで、顕著なマルチタスク能力を示す。 既存の手法はデータ再生やモデル拡張を利用しており、どちらもLMM用に特別に開発されていない。 本稿では,マルチモーダル連続学習に適した新しいデュアルモーダル誘導型プロンプト学習フレームワーク(ModalPrompt)を提案する。
  論文  参考訳（メタデータ） (2024-10-08T09:35:37Z)
• MIO: A Foundation Model on Multimodal Tokens [74.85153216521945]
  マルチモーダルトークン上に構築された新しい基礎モデルMIOを紹介する。 MIOは、エンドツーエンドの自己回帰的な方法で、音声、テキスト、画像、ビデオを理解し、生成することができる。
  論文  参考訳（メタデータ） (2024-09-26T09:57:16Z)
• OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
  OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論するモデルの能力を厳格に評価するために設計された新しいベンチマークである。 本研究の主目的は,ほとんどのOLMが3モーダル文脈における指示追従能力と推論能力に限界があることである。 このギャップに対処するため、84.5KのトレーニングサンプルであるOmniInstructの命令チューニングデータセットをキュレートし、OLMをマルチモーダルなコンテキストに適応させる。
  論文  参考訳（メタデータ） (2024-09-23T17:59:05Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。