論文の概要: Nexus: An Omni-Perceptive And -Interactive Model for Language, Audio, And Vision

• arxiv url: http://arxiv.org/abs/2503.01879v3
• Date: Thu, 29 May 2025 09:40:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.378069
• Title: Nexus: An Omni-Perceptive And -Interactive Model for Language, Audio, And Vision
• Title（参考訳）: Nexus: 言語、オーディオ、ビジョンのためのOmni-Perceptive and-Interactive Model
• Authors: Che Liu, Yingji Zhang, Dong Zhang, Weijie Zhang, Chenggong Gong, Haohan Li, Yu Lu, Shilin Zhou, Yue Lu, Ziliang Gan, Ziao Wang, Junwei Liao, Haipang Wu, Ji Liu, André Freitas, Qifan Wang, Zenglin Xu, Rongjuncheng Zhang, Yong Dai,
• Abstract要約: 本研究は, 聴覚, 視覚, 言語的モダリティを統合した, 産業レベルのOmni-Modal Large Language Model (LLM) パイプラインを提案する。 まず、様々なエンコーダ-LLM-デコーダアーキテクチャの柔軟な構成を可能にするモジュラーフレームワークです。 第二に、最先端のビジョン言語モデルであるQwen2.5-VLのオーディオ言語アライメントを事前訓練する軽量なトレーニング戦略である。 第三に、様々な現実世界のシナリオから高品質な音声テキストデータを生成するオーディオ合成パイプライン。
• 参考スコア（独自算出の注目度）: 50.23246260804145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work proposes an industry-level omni-modal large language model (LLM) pipeline that integrates auditory, visual, and linguistic modalities to overcome challenges such as limited tri-modal datasets, high computational costs, and complex feature alignments. Our pipeline consists of three main components: First, a modular framework enabling flexible configuration of various encoder-LLM-decoder architectures. Second, a lightweight training strategy that pre-trains audio-language alignment on the state-of-the-art vision-language model Qwen2.5-VL, thus avoiding the costly pre-training of vision-specific modalities. Third, an audio synthesis pipeline that generates high-quality audio-text data from diverse real-world scenarios, supporting applications such as Automatic Speech Recognition and Speech-to-Speech chat. To this end, we introduce an industry-level omni-modal LLM, Nexus. Extensive experiments validate the efficacy of our pipeline, yielding the following key findings:(1) In the visual understanding task, Nexus exhibits superior performance compared with its backbone model - Qwen2.5-VL-7B, validating the efficiency of our training strategy. (2) Within the English Spoken Question-Answering task, the model achieves better accuracy than the same-period competitor (i.e, MiniCPM-o2.6-7B) in the LLaMA Q. benchmark. (3) In our real-world ASR testset, Nexus achieves outstanding performance, indicating its robustness in real scenarios. (4) In the Speech-to-Text Translation task, our model outperforms Qwen2-Audio-Instruct-7B. (5) In the Text-to-Speech task, based on pretrained vocoder (e.g., Fishspeech1.4 or CosyVoice2.0), Nexus is comparable to its backbone vocoder on Seed-TTS benchmark. (6) An in-depth analysis of tri-modal alignment reveals that incorporating the audio modality enhances representational alignment between vision and language.
• Abstract（参考訳）: 本研究は,三進法データセットの制限,計算コストの増大,複雑な特徴アライメントといった課題を克服するために,聴覚,視覚,言語的モダリティを統合した産業レベルのOmni-Modal Large Language Model (LLM)パイプラインを提案する。 まず、様々なエンコーダ-LLM-デコーダアーキテクチャの柔軟な構成を可能にするモジュラーフレームワークです。 第二に、最先端のビジョン言語モデルであるQwen2.5-VLのオーディオ言語アライメントを事前訓練する軽量なトレーニング戦略である。 第三に、さまざまな現実シナリオから高品質な音声テキストデータを生成するオーディオ合成パイプラインで、自動音声認識や音声音声チャットなどのアプリケーションをサポートする。 この目的のために,業界レベルのOmni-modal LLM,Nexusを紹介した。 1) 視覚的理解タスクでは,NexusはバックボーンモデルであるQwen2.5-VL-7Bよりも優れた性能を示し,トレーニング戦略の有効性を検証する。 2) 英語音声質問回答タスクでは,LLaMA Q.ベンチマークの同周期競合(MiniCPM-o2.6-7B)よりも精度が高い。 (3) 現実のASRテストセットでは、Nexusは優れたパフォーマンスを達成し、実際のシナリオにおける堅牢性を示しています。 (4) 音声からテキストへの翻訳作業において,本モデルはQwen2-Audio-Instruct-7Bより優れている。 (5) 事前訓練されたvocoder(例: Fishspeech1.4、CosyVoice2.0)をベースにしたText-to-Speechタスクでは、NexusはSeed-TTSベンチマークのバックボーンvocoderに匹敵する。 (6)3モーダルアライメントの詳細な分析により,音声モダリティを取り入れることで,視覚と言語間の表現的アライメントが促進されることが明らかになった。

関連論文リスト

• Ola: Pushing the Frontiers of Omni-Modal Language Model with Progressive Modality Alignment [88.72389428177942]
  Olaはオムニモーダル言語モデルであり、画像、ビデオ、音声の理解間での競合的なパフォーマンスを実現する。 我々は、Olaを、この新興分野における将来の研究を進めるための、完全にオープンなオムニモーダル理解ソリューションにすることを目指している。
  論文  参考訳（メタデータ） (2025-02-06T18:59:55Z)
• OpenOmni: Advancing Open-Source Omnimodal Large Language Models with Progressive Multimodal Alignment and Real-Time Self-Aware Emotional Speech Synthesis [68.73476738779628]
  nameは、一様アライメントと音声生成を統合する2段階のトレーニングフレームワークである。 雑用、視覚言語、音声言語ベンチマークで最先端モデルを上回っている。 nameは、非自己回帰モードで1秒のレイテンシでリアルタイムの音声生成を実現する。
  論文  参考訳（メタデータ） (2025-01-08T15:18:09Z)
• ETTA: Elucidating the Design Space of Text-to-Audio Models [33.831803213869605]
  対象ベンチマークに対するデータ,モデルアーキテクチャ,目標関数のトレーニング,およびサンプリング戦略の効果について検討する。 Eucidated Text-To-Audio (ETTA) と呼ばれる最良のモデルを提案する。 ETTAは、公開データでトレーニングされたベースラインよりも改善され、プロプライエタリデータでトレーニングされたモデルと競合する。
  論文  参考訳（メタデータ） (2024-12-26T21:13:12Z)
• CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models [74.80386066714229]
  改良されたストリーミング音声合成モデルCosyVoice 2を提案する。 具体的には,音声トークンのコードブック利用を改善するために,有限スカラー量子化を導入する。 我々は,様々な合成シナリオをサポートするために,チャンク対応因果フローマッチングモデルを開発した。
  論文  参考訳（メタデータ） (2024-12-13T12:59:39Z)
• SONAR: A Synthetic AI-Audio Detection Framework and Benchmark [59.09338266364506]
  SONARはAI-Audio Detection FrameworkとBenchmarkの合成である。 最先端のAI合成聴覚コンテンツを識別するための総合的な評価を提供することを目的としている。 従来のモデルとファンデーションベースのディープフェイク検出システムの両方で、AIオーディオ検出を均一にベンチマークする最初のフレームワークである。
  論文  参考訳（メタデータ） (2024-10-06T01:03:42Z)
• OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
  OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論するモデルの能力を厳格に評価するために設計された新しいベンチマークである。 本研究の主目的は,ほとんどのOLMが3モーダル文脈における指示追従能力と推論能力に限界があることである。 このギャップに対処するため、84.5KのトレーニングサンプルであるOmniInstructの命令チューニングデータセットをキュレートし、OLMをマルチモーダルなコンテキストに適応させる。
  論文  参考訳（メタデータ） (2024-09-23T17:59:05Z)
• Probabilistic Speech-Driven 3D Facial Motion Synthesis: New Benchmarks, Methods, and Applications [20.842799581850617]
  音声信号から3次元顔形状を推定する作業について検討する。 既存の作業は主に決定論的であり、限られた話者を持つ小さなデータセット上で、音声信号から3D顔メッシュへの1対1のマッピングを学ぶことに集中している。
  論文  参考訳（メタデータ） (2023-11-30T01:14:43Z)
• FALL-E: A Foley Sound Synthesis Model and Strategies [0.5599792629509229]
  FALL-Eモデルは、低分解能スペクトログラム生成、スペクトル超解像、ボコーダからなるカスケード方式を採用している。 我々はデータセット固有のテキストでモデルを条件付けし、テキスト入力に基づいて音質と記録環境を学習できるようにした。
  論文  参考訳（メタデータ） (2023-06-16T12:44:10Z)
• VALOR: Vision-Audio-Language Omni-Perception Pretraining Model and Dataset [34.38377548121313]
  マルチモーダル理解と生成のためのビジョン・オーディエンジュ・オムニ・ペセプション事前学習モデル(VALOR)を提案する。 VALORは、視覚、音声、言語の関係をエンドツーエンドで共同でモデル化する。 一連の公開モダリティベンチマークにおいて、最先端のパフォーマンスを新たに達成する。
  論文  参考訳（メタデータ） (2023-04-17T15:08:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。