論文の概要: OpenOmni: Large Language Models Pivot Zero-shot Omnimodal Alignment across Language with Real-time Self-Aware Emotional Speech Synthesis

• arxiv url: http://arxiv.org/abs/2501.04561v3
• Date: Thu, 23 Jan 2025 05:51:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:57:00.465870
• Title: OpenOmni: Large Language Models Pivot Zero-shot Omnimodal Alignment across Language with Real-time Self-Aware Emotional Speech Synthesis
• Title（参考訳）: OpenOmni:大規模言語モデルによるリアルタイム自己認識感情音声合成による言語間のゼロショットオムニモーダルアライメント
• Authors: Run Luo, Ting-En Lin, Haonan Zhang, Yuchuan Wu, Xiong Liu, Min Yang, Yongbin Li, Longze Chen, Jiaming Li, Lei Zhang, Yangyi Chen, Hamid Alinejad-Rokny, Fei Huang,
• Abstract要約: 両モードアライメントと音声生成を組み合わせた2段階学習手法であるopenomniを提案する。 実験により、openomniは全言語、視覚言語、言語評価において一貫して改善されていることが示された。
• 参考スコア（独自算出の注目度）: 68.73476738779628
• License:
• Abstract: Recent advancements in omnimodal learning have been achieved in understanding and generation across images, text, and speech, though mainly within proprietary models. Limited omnimodal datasets and the inherent challenges associated with real-time emotional speech generation have hindered open-source progress. To address these issues, we propose openomni, a two-stage training method combining omnimodal alignment and speech generation to develop a state-of-the-art omnimodal large language model. In the alignment phase, a pre-trained speech model is further trained on text-image tasks to generalize from vision to speech in a (near) zero-shot manner, outperforming models trained on tri-modal datasets. In the speech generation phase, a lightweight decoder facilitates real-time emotional speech through training on speech tasks and preference learning. Experiments demonstrate that openomni consistently improves across omnimodal, vision-language, and speech-language evaluations, enabling natural, emotion-rich dialogues and real-time emotional speech generation.
• Abstract（参考訳）: 近年、画像、テキスト、音声の理解と生成において、一様学習の進歩が達成されているが、主にプロプライエタリなモデルである。 限られた全方位データセットとリアルタイムの感情音声生成に関連する固有の課題は、オープンソースの進歩を妨げている。 これらの問題に対処するために,一様アライメントと音声生成を組み合わせた二段階学習手法であるopenomniを提案する。 アライメントフェーズでは、事前訓練された音声モデルをテキストイメージタスクでさらに訓練し、視覚から音声への一般化を(ほぼ)ゼロショット方式で行い、トリモーダルデータセットで訓練されたモデルよりも優れる。 音声生成フェーズにおいて、軽量デコーダは、音声タスクと嗜好学習のトレーニングを通じて、リアルタイムの感情的スピーチを促進する。 実験により、オノムニは全言語、視覚言語、言語評価を一貫して改善し、自然な感情に富んだ対話とリアルタイムの感情音声生成を可能にした。

関連論文リスト

• OmniFlatten: An End-to-end GPT Model for Seamless Voice Conversation [53.7173034249361]
  エンド・ツー・エンドのGPTベースモデルであるOmniFlattenは、低レイテンシで自然な会話に固有の複雑な振る舞いを効果的にモデル化することができる。 提案手法は, 簡便なモデリング手法と, より効率的かつ自然な対話システムを構築するための研究の方向性を提供する。
  論文  参考訳（メタデータ） (2024-10-23T11:58:58Z)
• IntrinsicVoice: Empowering LLMs with Intrinsic Real-time Voice Interaction Abilities [55.11130688075417]
  IntrinsicVoicは、本質的なリアルタイム音声対話機能を備えたLLMである。 我々の新規アーキテクチャであるGroupFormerは、テキストシーケンスに匹敵する長さまで音声シーケンスを削減できる。 我々は,500k近い音声対音声対話を含む,メソッド500kというマルチターン音声対音声対話データセットを構築した。
  論文  参考訳（メタデータ） (2024-10-09T05:04:31Z)
• Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data [84.01401439030265]
  最近のエンドツーエンド言語モデル(SLM)は、大規模言語モデル(LLM)の機能に拡張されている。 音声とテキストのペアデータを生成するための,シンプルで効果的な自動処理手法を提案する。 本モデルでは,音声教育データを必要としない音声関連タスクの汎用性を示す。
  論文  参考訳（メタデータ） (2024-09-30T07:01:21Z)
• EMOVA: Empowering Language Models to See, Hear and Speak with Vivid Emotions [152.41217651729738]
  GPT-4oは、多様な感情や声調を持つ声の会話を可能にするオムニモーダルモデルである。 本研究では,エンド・ツー・エンドの音声機能を備えた大規模言語モデルを実現するためのEMOVAを提案する。 EMOVAは、視覚言語と音声のベンチマークの両方で最先端のパフォーマンスを初めて達成した。
  論文  参考訳（メタデータ） (2024-09-26T16:44:02Z)
• Speech2rtMRI: Speech-Guided Diffusion Model for Real-time MRI Video of the Vocal Tract during Speech [29.510756530126837]
  音声中の人間の声道のMRIビデオにおいて,音声を視覚的に表現するデータ駆動方式を提案する。 先行知識に埋め込まれた大規模な事前学習音声モデルを用いて、視覚領域を一般化し、見当たらないデータを生成する。
  論文  参考訳（メタデータ） (2024-09-23T20:19:24Z)
• Moshi: a speech-text foundation model for real-time dialogue [78.88479749811376]
  現在の音声対話システムは、パイプラインの独立した音声活動検出と音声合成に依存している。 そこで本研究では,Moshi Moshiが音声認識と音声合成を実現する方法を紹介する。 得られたモデルは、初めてリアルタイムな全音声大言語モデルモダリティである。
  論文  参考訳（メタデータ） (2024-09-17T17:55:39Z)
• Improving Spoken Language Modeling with Phoneme Classification: A Simple Fine-tuning Approach [14.5696754689252]
  音声言語モデリングの最近の進歩は、音声から直接言語を学ぶことが可能であることを示している。 音素分類に基づく微調整音声表現モデルにより、より文脈不変な表現が得られることを示す。
  論文  参考訳（メタデータ） (2024-09-16T10:29:15Z)
• SpeechX: Neural Codec Language Model as a Versatile Speech Transformer [57.82364057872905]
  SpeechX は、ゼロショット TTS と様々な音声変換タスクが可能な汎用音声生成モデルである。 実験結果から, ゼロショットTS, ノイズ抑制, ターゲット話者抽出, 音声除去, 背景雑音の有無による音声編集など, 各種タスクにおけるSpeechXの有効性が示された。
  論文  参考訳（メタデータ） (2023-08-14T01:01:19Z)
• Generating coherent spontaneous speech and gesture from text [21.90157862281996]
  人体コミュニケーションは、言語情報(音声)と非言語情報(ジェスチャーや頭の動きなど)の両方を含む 機械学習の最近の進歩は、これらのデータの両方の合成バージョンを生成する技術を大幅に改善した。 私たちはこの2つの最先端技術を初めてコヒーレントな方法で組み合わせました。
  論文  参考訳（メタデータ） (2021-01-14T16:02:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。