論文の概要: Building a Taiwanese Mandarin Spoken Language Model: A First Attempt
- arxiv url: http://arxiv.org/abs/2411.07111v1
- Date: Mon, 11 Nov 2024 16:37:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:08:13.115614
- Title: Building a Taiwanese Mandarin Spoken Language Model: A First Attempt
- Title（参考訳）: 台湾のマンダリン発声言語モデル構築の試み
- Authors: Chih-Kai Yang, Yu-Kuan Fu, Chen-An Li, Yi-Cheng Lin, Yu-Xiang Lin, Wei-Chih Chen, Ho Lam Chung, Chun-Yi Kuan, Wei-Ping Huang, Ke-Han Lu, Tzu-Quan Lin, Hsiu-Hsuan Wang, En-Pei Hu, Chan-Jan Hsu, Liang-Hsuan Tseng, I-Hsiang Chiu, Ulin Sanga, Xuanjun Chen, Po-chun Hsu, Shu-wen Yang, Hung-yi Lee,
- Abstract要約: 本報告は,マルチターン会話におけるリアルタイム音声対話を実現するために,台湾語マンダリンのための大規模音声言語モデル(MLL)を構築することを目的とする。
エンドツーエンドモデルにはデコーダのみのトランスフォーマーアーキテクチャが組み込まれており,会話の流路を保ちながらシームレスな対話を実現することを目的としている。
- 参考スコア（独自算出の注目度）: 44.54200115439157
- License:
- Abstract: This technical report presents our initial attempt to build a spoken large language model (LLM) for Taiwanese Mandarin, specifically tailored to enable real-time, speech-to-speech interaction in multi-turn conversations. Our end-to-end model incorporates a decoder-only transformer architecture and aims to achieve seamless interaction while preserving the conversational flow, including full-duplex capabilities allowing simultaneous speaking and listening. The paper also details the training process, including data preparation with synthesized dialogues and adjustments for real-time interaction. We also developed a platform to evaluate conversational fluency and response coherence in multi-turn dialogues. We hope the release of the report can contribute to the future development of spoken LLMs in Taiwanese Mandarin.
- Abstract（参考訳）: 本稿では,台湾語マンダリンのための音声大言語モデル(LLM)構築の試みについて述べる。
エンドツーエンドモデルにはデコーダのみのトランスフォーマーアーキテクチャが組み込まれており,会話の流れを保ちながらシームレスな対話を実現することを目的としている。
また、合成対話によるデータ準備やリアルタイムインタラクションの調整など、トレーニングプロセスについても詳述する。
また,マルチターン対話における会話の流布度と応答コヒーレンスを評価するプラットフォームを開発した。
台湾のマンダリンにおけるLLMの今後の発展に,本報告書の公開が寄与することを期待している。
関連論文リスト
- OmniFlatten: An End-to-end GPT Model for Seamless Voice Conversation [24.68804661538364]
全音声対話システムは人間と人間の相互作用を著しく反映している。
低レイテンシと自然なインタラクションを実現することは、大きな課題です。
エンドツーエンド音声対話システムは、効率的で自然なエンドツーエンドシステムを開発する上で有望な方向である。
OmniFlatten氏によって生成された対話のオーディオサンプルは、このWebサイトにある。
論文 参考訳（メタデータ） (2024-10-23T11:58:58Z) - Let's Go Real Talk: Spoken Dialogue Model for Face-to-Face Conversation [55.043492250775294]
本稿では,新しい対面音声対話モデルを提案する。
ユーザ入力から音声視覚音声を処理し、応答として音声視覚音声を生成する。
また,最初の大規模マルチモーダル音声対話コーパスであるMultiDialogを紹介する。
論文 参考訳（メタデータ） (2024-06-12T04:48:36Z) - Integrating Paralinguistics in Speech-Empowered Large Language Models for Natural Conversation [46.93969003104427]
本稿では,広範な音声テキストLLMフレームワークである統一音声対話モデル(USDM)を紹介する。
USDMは、与えられた入力音声に関連する自然な韻律的特徴を持つコヒーレントな音声応答を生成するように設計されている。
提案手法は,従来のベースラインとカスケードベースラインを超越した自然な音声応答を効果的に生成する。
論文 参考訳（メタデータ） (2024-02-08T14:35:09Z) - Towards Joint Modeling of Dialogue Response and Speech Synthesis based
on Large Language Model [8.180382743037082]
本稿では,AI音声対話システムの構築の可能性について考察する。
論文 参考訳（メタデータ） (2023-09-20T01:48:27Z) - Channel-aware Decoupling Network for Multi-turn Dialogue Comprehension [81.47133615169203]
本稿では,PrLMの逐次文脈化を超えて,発話間の包括的相互作用のための合成学習を提案する。
私たちは、モデルが対話ドメインに適応するのを助けるために、ドメイン適応型トレーニング戦略を採用しています。
実験の結果,提案手法は4つの公開ベンチマークデータセットにおいて,強力なPrLMベースラインを著しく向上させることがわかった。
論文 参考訳（メタデータ） (2023-01-10T13:18:25Z) - ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual
Multi-Speaker Text-to-Speech [58.93395189153713]
言語間複数話者音声合成タスクの事前学習法を拡張した。
本稿では,スペクトルと音素をランダムにマスキングする,音声・テキスト共同事前学習フレームワークを提案する。
本モデルは,話者埋め込み型マルチスピーカTS法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-11-07T13:35:16Z) - Back to the Future: Bidirectional Information Decoupling Network for
Multi-turn Dialogue Modeling [80.51094098799736]
ユニバーサル対話エンコーダとして双方向情報デカップリングネットワーク(BiDeN)を提案する。
BiDeNは過去と将来の両方のコンテキストを明示的に取り入れており、幅広い対話関連のタスクに一般化することができる。
異なる下流タスクのデータセットに対する実験結果は、我々のBiDeNの普遍性と有効性を示している。
論文 参考訳（メタデータ） (2022-04-18T03:51:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。