論文の概要: Nexus-O: An Omni-Perceptive And -Interactive Model for Language, Audio, And Vision

• arxiv url: http://arxiv.org/abs/2503.01879v2
• Date: Fri, 07 Mar 2025 09:21:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 15:01:10.918092
• Title: Nexus-O: An Omni-Perceptive And -Interactive Model for Language, Audio, And Vision
• Title（参考訳）: Nexus-O: 言語、オーディオ、ビジョンのためのOmni-Perceptive and-Interactive Model
• Authors: Che Liu, Yingji Zhang, Dong Zhang, Weijie Zhang, Chenggong Gong, Haohan Li, Yu Lu, Shilin Zhou, Yue Lu, Ziliang Gan, Ziao Wang, Junwei Liao, Haipang Wu, Ji Liu, André Freitas, Qifan Wang, Zenglin Xu, Rongjuncheng Zhang, Yong Dai,
• Abstract要約: 業界レベルのtextbfomni-perceptive および-interactive モデルである textbfNexus-O を導入し,音声,画像,ビデオ,テキストデータを効率的に処理する。 まず、モデルを効率的に設計し、トレーニングして、複数のモダリティにわたるトリモーダルアライメント、理解、推論機能を実現するにはどうすればよいか? 第二に、現実のシナリオにおける信頼性の高いパフォーマンスと適用性を保証するために、トリモーダルモデルの堅牢性を評価するために、どのようなアプローチが実装できるのか? 第3に,高品質で現実的なシナリオをキュレートし,得るための戦略
• 参考スコア（独自算出の注目度）: 50.23246260804145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human beings perceive the real world through a spectrum of sensory modalities, encompassing auditory, visual, and linguistic faculties. The journey towards achieving Artificial General Intelligence (AGI) necessitates the development of models that can emulate these multifaceted perceptual capabilities and comprehensively understand these diversified data. To this end, we introduce \textbf{Nexus-O}, an industry-level \textbf{omni-perceptive and -interactive} model capable of efficiently processing Audio, Image, Video, and Text data in any combination and output audio/text in an end-to-end way. We systematically investigate Nexus-O by addressing three key research questions: First, how can models be efficiently designed and trained to achieve tri-modal alignment, understanding and reasoning capabilities across multiple modalities? Second, what approaches can be implemented to evaluate tri-modal model robustness, ensuring reliable performance and applicability in real-world scenarios? Third, what strategies can be employed to curate and obtain high-quality, real-life scenario speech datasets? For the first question, we design and pre-train Nexus-O based on the vision-language model, rather than the language model. By pre-training the model over high-quality synthetic audio data, our model is capable of tri-modal perception and interaction. For the second question, we introduce a new audio testbed, Nexus-O-audio, comprising diverse Automatic Speech Recognition (ASR) samples, spanning various real-world scenarios, such as corporate meetings and live stream. For the third question, we design the speech data synthesis pipeline to obtain high-quality speech training datasets, covering various real-world scenarios. Comprehensive experimentation and an in-depth analysis of tri-modal alignment over latent space demonstrate the advantages of our model on downstream tasks.
• Abstract（参考訳）: 人間は、聴覚、視覚、言語学の能力を含む、知覚的モダリティのスペクトルを通して現実世界を知覚する。 人工知能(AGI)の実現に向けた旅は、これらの多面的知覚能力をエミュレートし、これらの多様化したデータを包括的に理解できるモデルの開発を必要とする。 この目的を達成するために,産業レベルの \textbf{omni-perceptive and -interactive} モデルである \textbf{Nexus-O} を導入する。 まず、モデルを効率的に設計し、トレーニングして、複数のモダリティをまたいだ三つのモダリティアライメント、理解、推論能力を実現するには、どのようにすればよいのか? 第二に、現実のシナリオにおける信頼性の高いパフォーマンスと適用性を保証するために、トリモーダルモデルの堅牢性を評価するために、どのようなアプローチが実装できるのか? 第三に、高品質な実生活シナリオ音声データセットをキュレートし、取得するために、どのような戦略が使えるのか? 最初の質問では、言語モデルではなく、視覚言語モデルに基づいてNexus-Oを事前訓練する。 高品質な合成音声データに対して事前学習を行うことで,3モーダルな知覚と相互作用が可能である。 第2の質問では、企業会議やライブストリームなど、さまざまな現実シナリオにまたがる多様な音声認識(ASR)サンプルからなる新しい音声テストベッドNexus-O-audioを導入する。 第3の質問では、高品質な音声訓練データセットを得るための音声データ合成パイプラインを設計し、様々な実世界のシナリオをカバーする。 潜在空間上の三モーダルアライメントの包括的実験と詳細な解析は、下流タスクにおける我々のモデルの利点を実証する。

関連論文リスト

• Ola: Pushing the Frontiers of Omni-Modal Language Model with Progressive Modality Alignment [88.72389428177942]
  Olaはオムニモーダル言語モデルであり、画像、ビデオ、音声の理解間での競合的なパフォーマンスを実現する。 我々は、Olaを、この新興分野における将来の研究を進めるための、完全にオープンなオムニモーダル理解ソリューションにすることを目指している。
  論文  参考訳（メタデータ） (2025-02-06T18:59:55Z)
• OpenOmni: Advancing Open-Source Omnimodal Large Language Models with Progressive Multimodal Alignment and Real-Time Self-Aware Emotional Speech Synthesis [68.73476738779628]
  nameは、一様アライメントと音声生成を統合する2段階のトレーニングフレームワークである。 雑用、視覚言語、音声言語ベンチマークで最先端モデルを上回っている。 nameは、非自己回帰モードで1秒のレイテンシでリアルタイムの音声生成を実現する。
  論文  参考訳（メタデータ） (2025-01-08T15:18:09Z)
• ETTA: Elucidating the Design Space of Text-to-Audio Models [33.831803213869605]
  対象ベンチマークに対するデータ,モデルアーキテクチャ,目標関数のトレーニング,およびサンプリング戦略の効果について検討する。 Eucidated Text-To-Audio (ETTA) と呼ばれる最良のモデルを提案する。 ETTAは、公開データでトレーニングされたベースラインよりも改善され、プロプライエタリデータでトレーニングされたモデルと競合する。
  論文  参考訳（メタデータ） (2024-12-26T21:13:12Z)
• CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models [74.80386066714229]
  改良されたストリーミング音声合成モデルCosyVoice 2を提案する。 具体的には,音声トークンのコードブック利用を改善するために,有限スカラー量子化を導入する。 我々は,様々な合成シナリオをサポートするために,チャンク対応因果フローマッチングモデルを開発した。
  論文  参考訳（メタデータ） (2024-12-13T12:59:39Z)
• SONAR: A Synthetic AI-Audio Detection Framework and Benchmark [59.09338266364506]
  SONARはAI-Audio Detection FrameworkとBenchmarkの合成である。 最先端のAI合成聴覚コンテンツを識別するための総合的な評価を提供することを目的としている。 従来のモデルとファンデーションベースのディープフェイク検出システムの両方で、AIオーディオ検出を均一にベンチマークする最初のフレームワークである。
  論文  参考訳（メタデータ） (2024-10-06T01:03:42Z)
• OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
  OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論するモデルの能力を厳格に評価するために設計された新しいベンチマークである。 本研究の主目的は,ほとんどのOLMが3モーダル文脈における指示追従能力と推論能力に限界があることである。 このギャップに対処するため、84.5KのトレーニングサンプルであるOmniInstructの命令チューニングデータセットをキュレートし、OLMをマルチモーダルなコンテキストに適応させる。
  論文  参考訳（メタデータ） (2024-09-23T17:59:05Z)
• Probabilistic Speech-Driven 3D Facial Motion Synthesis: New Benchmarks, Methods, and Applications [20.842799581850617]
  音声信号から3次元顔形状を推定する作業について検討する。 既存の作業は主に決定論的であり、限られた話者を持つ小さなデータセット上で、音声信号から3D顔メッシュへの1対1のマッピングを学ぶことに集中している。
  論文  参考訳（メタデータ） (2023-11-30T01:14:43Z)
• FALL-E: A Foley Sound Synthesis Model and Strategies [0.5599792629509229]
  FALL-Eモデルは、低分解能スペクトログラム生成、スペクトル超解像、ボコーダからなるカスケード方式を採用している。 我々はデータセット固有のテキストでモデルを条件付けし、テキスト入力に基づいて音質と記録環境を学習できるようにした。
  論文  参考訳（メタデータ） (2023-06-16T12:44:10Z)
• VALOR: Vision-Audio-Language Omni-Perception Pretraining Model and Dataset [34.38377548121313]
  マルチモーダル理解と生成のためのビジョン・オーディエンジュ・オムニ・ペセプション事前学習モデル(VALOR)を提案する。 VALORは、視覚、音声、言語の関係をエンドツーエンドで共同でモデル化する。 一連の公開モダリティベンチマークにおいて、最先端のパフォーマンスを新たに達成する。
  論文  参考訳（メタデータ） (2023-04-17T15:08:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。