論文の概要: MultiTalk: Scaling Full-Duplex Speech Models to Long, Multi-Party, Bilingual Conversation

• arxiv url: http://arxiv.org/abs/2609.36903v1
• Date: Tue, 29 Sep 2026 07:25:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.28116
• Title: MultiTalk: Scaling Full-Duplex Speech Models to Long, Multi-Party, Bilingual Conversation
• Title（参考訳）: MultiTalk: 長期・多人数・バイリンガル会話への全二重音声モデルのスケーリング
• Abstract要約: 制御可能な長さ、参加者数、ターンテイク、オーバーラップ、バックチャネル、割り込み、アドレスシフト、長距離コア参照を備えた、長文の多部構成の英語と中国語のフルフォーム対話。 M MoshiTalkは、複数のスピーカーに長時間応答するロボットマシンだ。
• 参考スコア（独自算出の注目度）: 48.18394873529704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: End-to-end full-duplex speech models have brought open-source machine conversation closer to human-like interaction, yet existing systems remain limited in two intertwined dimensions: long-context robustness and multi-party interaction. Real-world scenarios such as meetings, group lessons, and social-robot reception require a single model to track, contextualize, and respond to multiple speakers over extended durations. Progress is constrained by both data and evaluation: open multi-party speech corpora remain small and are not designed for codec-frame-level full-duplex modeling, while existing long-audio benchmarks focus on passive listening and speech-to-speech benchmarks are mostly short and dyadic. We extend the Moshi paradigm jointly along the long-horizon and multi-party axes in English and Chinese. First, we release 57.6k hours of synthetic training data ($\href{https://huggingface.co/datasets/MultiTalk/MultiTalkPT}{MultiTalkPT}$ and $\href{https://huggingface.co/datasets/MultiTalk/MultiTalkFT}{MultiTalkFT}$) for long-form, multi-party, English-Chinese full-duplex dialogue, with controllable length, participant count, turn-taking, overlap, backchannels, interruptions, addressee shifts, and long-range coreference. Second, we introduce $\href{https://huggingface.co/datasets/MultiTalk/MultiTalkBench}{MultiTalkBench}$, built from real human recordings, for evaluating long-form, multi-party, bilingual full-duplex dialogue. Conversations average 32.6 minutes and include probes for long-range entity tracking, topic coherence, and addressee selection. Third, we train a bilingual Moshi-style model that sustains coherent multi-party English-Chinese conversations over extended durations and substantially outperforms open-source baselines including Moshi, MiniCPM-o-4.5, and Qwen3-Omni-30B-A3B-Instruct on MultiTalkBench.
• Abstract（参考訳）: エンドツーエンドのフルダブルプレックス音声モデルは、オープンソースのマシン会話を人間のようなインタラクションに近づけているが、既存のシステムは、長いコンテキストの堅牢性と複数パーティのインタラクションの2つの分野に限られている。 ミーティング、グループレッスン、ソーシャルロボットの受信といった現実のシナリオでは、長期にわたって複数の話者を追跡し、コンテキストを調整し、応答するための単一のモデルが必要である。 オープンなマルチパーティ音声コーパスは小さめであり、コーデックフレームレベルのフルダブルプレックスモデリングには設計されていない。 我々は、英語と中国語の長軸と多軸に沿って、Moshiパラダイムを共同で拡張する。 まず、私たちは57.6k時間の合成トレーニングデータ(\href{https://huggingface.co/datasets/MultiTalkPT}{MultiTalkPT}$と$\href{https://huggingface.co/datasets/MultiTalk/MultiTalkFT}{MultiTalkFT}$)をリリースします。 次に、実際の人間の録音から構築された$\href{https://huggingface.co/datasets/MultiTalkBench}{MultiTalkBench}$を導入し、長文で多人数のバイリンガルな全二重対話を評価する。 会話は平均32.6分であり、長距離エンティティ追跡、トピックコヒーレンス、アドレス選択のためのプローブが含まれる。 第3に,Moshi,MiniCPM-o-4.5,Qwen3-Omni-30B-A3B-Instruct on MultiTalkBenchなどのオープンソースベースラインにおいて,一貫性のある多言語会話を長期間にわたって維持するバイリンガルモシスタイルモデルを訓練する。

関連論文リスト

• TEIDAN: A Multilingual Multiparty Dialogue Corpus [22.140704092442196]
  本稿では,多言語多モーダルコーパスであるTEIDANについて述べる。 TEIDANは、個々のピンマイク、マイクアレイ、参加者向けカメラでオープンエンドトピックについて議論する3人の参加者のグループを記録している。 本報告では,人間とエージェントのインタラクションにおいて,TEIDANがターンテイキング,アドレナリ認識,マルチモーダルグラウンドの研究を支援するための予備的分析を,収集設計,参加者,記録設定,転写フォーマット,コーパス統計について述べる。
  論文  参考訳（メタデータ） (2026-09-01T06:59:09Z)
• M3-DuplexBench: A Multi-Turn, Multilingual, Multidomain Benchmark for Full-Duplex Spoken Dialogue Models [41.55514321725997]
  フル音声対話システム(FDSDS)は話しながら聴くことができるが、マルチターン会話における公正な比較は依然として課題である。 FDSDS M3-DuplexBenchは英語と日本語をサポートし、カジュアルな会話とマルチターンの質問応答の両方をカバーしている。
  論文  参考訳（メタデータ） (2026-07-31T07:56:25Z)
• MOSS-TTSD: Text to Spoken Dialogue Generation [62.04179716555789]
  複数の言語にまたがる多人数会話音声のための音声対話合成モデルであるMOSS-TTSDを提案する。 長文モデリングの強化により、MOSS-TTSDは明示的な話者タグを持つ対話スクリプトから長文音声対話を生成する。 このモデルは、英語や中国語を含む様々な主流言語をサポートし、いくつかの長文のシナリオに適応している。
  論文  参考訳（メタデータ） (2026-03-20T08:23:31Z)
• Face-to-Face: A Video Dataset for Multi-Person Interaction Modeling [53.176242285107485]
  我々は2人のトークショー交換の70時間14kclipデータセットであるtextbfFace-to-Face with Jimmy Fallon (F2F-JF)を紹介した。 半自動パイプラインは、多人数追跡、音声ダイアリゼーション、軽量な人間の検証を組み合わせて、時間的に整列したホスト/ゲストトラックを抽出する。
  論文  参考訳（メタデータ） (2026-03-16T03:50:02Z)
• Long-Form Speech Generation with Spoken Language Models [64.29591880693468]
  テキストなしの音声言語モデルは、数十秒を超える可読な音声を生成するのに苦労する。 我々は、長音の音声から学習し、サンプルする最初の音声言語モデルであるSpeechSSMを導出する。 SpeechSSMは線形時間列モデリングの最近の進歩を活用し、コヒーレンスと効率性において現在のトランスフォーマー音声LMを大幅に上回っている。
  論文  参考訳（メタデータ） (2024-12-24T18:56:46Z)
• Textless Speech-to-Speech Translation With Limited Parallel Data [51.3588490789084]
  PFBはテキストレスのS2STモデルをトレーニングするためのフレームワークで、数十時間の並列音声データしか必要としない。 3つのドメインで英語、ドイツ語、マラティー語、英語の翻訳をトレーニングし、評価する。
  論文  参考訳（メタデータ） (2023-05-24T17:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。