論文の概要: Sommelier: Scalable Open Multi-turn Audio Pre-processing for Full-duplex Speech Language Models

• arxiv url: http://arxiv.org/abs/2603.25750v1
• Date: Fri, 20 Mar 2026 09:10:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.180469
• Title: Sommelier: Scalable Open Multi-turn Audio Pre-processing for Full-duplex Speech Language Models
• Title（参考訳）: Sommelier: 完全二重言語モデルのためのスケーラブルなマルチターンオーディオ前処理
• Authors: Kyudan Jung, Jihwan Kim, Soyoon Kim, Jeongoon Kim, Jaegul Choo, Cheonbok Park,
• Abstract要約: リアルタイムの人間とコンピュータのインタラクションが可能なAIシステムへの需要が高まっている。 大規模リソースは単一話者または限られたボリュームである。 フルソースモデル開発用に設計された、堅牢でスケーラブルなオープンソース処理パイプラインを提供する。
• 参考スコア（独自算出の注目度）: 48.29876406999829
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the paradigm of AI shifts from text-based LLMs to Speech Language Models (SLMs), there is a growing demand for full-duplex systems capable of real-time, natural human-computer interaction. However, the development of such models is constrained by the scarcity of high-quality, multi-speaker conversational data, as existing large-scale resources are predominantly single-speaker or limited in volume. Addressing the complex dynamics of natural dialogue, such as overlapping and back-channeling remains a challenge, with standard processing pipelines suffering from diarization errors and ASR hallucinations. To bridge this gap, we present a robust and scalable open-source data processing pipeline designed for full-duplex model.
• Abstract（参考訳）: AIのパラダイムがテキストベースのLLMから音声言語モデル(SLM)へとシフトするにつれ、リアルタイムで自然な人間とコンピュータのインタラクションが可能なフル二重システムへの需要が高まっている。 しかし、そのようなモデルの開発は、既存の大規模リソースが主に単一話者またはボリュームに制限されているため、高品質で多話者の会話データの不足によって制約される。 オーバーラップやバックチャネルといった自然な対話の複雑なダイナミクスに対処することは、ダイアリゼーションエラーやASR幻覚に苦しむ標準的な処理パイプラインにおいて、依然として課題である。 このギャップを埋めるために、フルデュプレックスモデル用に設計された堅牢でスケーラブルなオープンソースのデータ処理パイプラインを提示します。

関連論文リスト

• Covo-Audio Technical Report [61.09708870154148]
  7BバックエンドのLALMであるCovo-Audioは、連続的なオーディオ入力を直接処理し、単一の統一アーキテクチャ内でオーディオ出力を生成する。 対話指向の変種であるCovo-Audio-Chatは、意味的に強い会話能力を示す。
  論文  参考訳（メタデータ） (2026-02-10T14:31:11Z)
• ChatUMM: Robust Context Tracking for Conversational Interleaved Generation [44.19929499646892]
  統一マルチモーダルモデル(UMM)は目覚ましい進歩を遂げているが、シングルターン相互作用パラダイムによって制約されている。 本稿では,対話型統合モデルChatUMMを提案する。 ChatUMMは、連続的な会話の流れとしてシリアライズされたテキストイメージストリームをモデル化するインターリーブされたマルチターントレーニング戦略に由来する。
  論文  参考訳（メタデータ） (2026-02-06T07:11:50Z)
• HI-TransPA: Hearing Impairments Translation Personal Assistant [23.33416647487016]
  我々は,Omni-Modelパラダイムを補助技術に導入し,インストラクション駆動型音声視覚パーソナルアシスタントHI-TransPAを提案する。 このモデルは、不明瞭な音声を唇のダイナミックスと融合させ、単一のマルチモーダル・フレームワーク内での翻訳と対話を可能にする。 HI-Dialogueデータセットを用いた実験により、HI-TransPAは精度とセマンティック忠実度の両方で最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-11-13T03:27:39Z)
• FLEXI: Benchmarking Full-duplex Human-LLM Speech Interaction [49.83226596963294]
  音声とコンピュータの対話によりリアルタイム音声対話システムを実現する。 これらのモデルのモデリングとベンチマークは、依然として根本的な課題である。 フルヒューマン音声対話のための最初のベンチマークであるFLEXIを紹介する。
  論文  参考訳（メタデータ） (2025-09-26T11:57:42Z)
• SALMONN-omni: A Standalone Speech LLM without Codec Injection for Full-duplex Conversation [17.56310064245171]
  SALMON-N-omniは、トークン遷移バックボーンなしで動作する最初の単独のフルバイト音声LLMである。 LLMバックボーン内に新しい動的思考機構が備わっており、講演と聴取の間にモデルを学習することができる。 SALMON-N-Omniは、ターンテイキング、バックチャネルエコーキャンセル、コンテキスト依存バージェインなど、複雑な会話シナリオで強いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-05-17T08:13:59Z)
• Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities [93.09944267871163]
  FullDuplexBenchは、重要なインタラクティブな振る舞いを体系的に評価するベンチマークである。 ベンチマークコードを公開することによって、音声対話モデリングの進歩と、より自然で魅力的なSDMの開発を目指しています。
  論文  参考訳（メタデータ） (2025-03-06T18:59:16Z)
• SEAL: Speech Embedding Alignment Learning for Speech Large Language Model with Retrieval-Augmented Generation [10.828717295018123]
  本稿では,中間テキスト表現の必要性を解消する統合埋め込みフレームワークを提案する。 本モデルでは,従来の2段階法に比べて高い精度でパイプライン遅延を50%削減する。
  論文  参考訳（メタデータ） (2025-01-26T15:04:02Z)
• OmniFlatten: An End-to-end GPT Model for Seamless Voice Conversation [53.7173034249361]
  エンド・ツー・エンドのGPTベースモデルであるOmniFlattenは、低レイテンシで自然な会話に固有の複雑な振る舞いを効果的にモデル化することができる。 提案手法は, 簡便なモデリング手法と, より効率的かつ自然な対話システムを構築するための研究の方向性を提供する。
  論文  参考訳（メタデータ） (2024-10-23T11:58:58Z)
• Generating Data with Text-to-Speech and Large-Language Models for Conversational Speech Recognition [48.527630771422935]
  複数話者対話型ASRのための合成データ生成パイプラインを提案する。 我々は、電話と遠隔会話音声設定のためのWhisper ASRモデルを微調整して評価を行う。
  論文  参考訳（メタデータ） (2024-08-17T14:47:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。