論文の概要: Beyond Turn-Based Interfaces: Synchronous LLMs as Full-Duplex Dialogue Agents

• arxiv url: http://arxiv.org/abs/2409.15594v1
• Date: Mon, 23 Sep 2024 23:01:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 12:02:22.536087
• Title: Beyond Turn-Based Interfaces: Synchronous LLMs as Full-Duplex Dialogue Agents
• Title（参考訳）: ターンベースインターフェースを超えて:フルダブルダイアログエージェントとしての同期LDM
• Authors: Bandhav Veluri, Benjamin N Peloquin, Bokai Yu, Hongyu Gong, Shyamnath Gollakota,
• Abstract要約: フル同期音声対話モデルのための同期LLMを提案する。 実世界の音声対話データをわずか2k時間で有意義で自然な対話を生成するモデルを訓練する。 異なるデータセット上で訓練された2つのエージェント間の相互作用をシミュレートすることにより、モデルがフル同期対話に参加する能力を示す。
• 参考スコア（独自算出の注目度）: 12.555910887280199
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite broad interest in modeling spoken dialogue agents, most approaches are inherently "half-duplex" -- restricted to turn-based interaction with responses requiring explicit prompting by the user or implicit tracking of interruption or silence events. Human dialogue, by contrast, is "full-duplex" allowing for rich synchronicity in the form of quick and dynamic turn-taking, overlapping speech, and backchanneling. Technically, the challenge of achieving full-duplex dialogue with LLMs lies in modeling synchrony as pre-trained LLMs do not have a sense of "time". To bridge this gap, we propose Synchronous LLMs for full-duplex spoken dialogue modeling. We design a novel mechanism to integrate time information into Llama3-8b so that they run synchronously with the real-world clock. We also introduce a training recipe that uses 212k hours of synthetic spoken dialogue data generated from text dialogue data to create a model that generates meaningful and natural spoken dialogue, with just 2k hours of real-world spoken dialogue data. Synchronous LLMs outperform state-of-the-art in dialogue meaningfulness while maintaining naturalness. Finally, we demonstrate the model's ability to participate in full-duplex dialogue by simulating interaction between two agents trained on different datasets, while considering Internet-scale latencies of up to 240 ms. Webpage: https://syncllm.cs.washington.edu/.
• Abstract（参考訳）: 音声対話エージェントのモデリングには幅広い関心があるが、ほとんどのアプローチは本質的に「半二重」であり、ユーザによる明示的なプロンプトや、中断やサイレントイベントの暗黙的な追跡を必要とする応答とのターンベースのインタラクションに限定されている。 対照的に、ヒューマン・ダイアログは「フル・デュプレックス(full-duplex)」であり、高速でダイナミックなターンテイク、重なり合う音声、バックチャネルの形式でリッチな同期を可能にする。 技術的には、LLMとの完全な二重対話を実現するという課題は、事前訓練されたLLMが「時間」の感覚を持たないため、同期をモデル化することにある。 このギャップを埋めるために,全二重音声対話モデルのための同期LLMを提案する。 我々は,Llama3-8bに時間情報を統合する機構を設計し,実世界のクロックと同期して動作させる。 また,テキスト対話データから生成された212k時間の合成音声対話データを用いて,実世界の2k時間の音声対話データを用いて,有意義で自然な対話を生成するモデルを作成する。 同期LLMは自然性を保ちながら対話の有意義性において最先端である。 最後に、異なるデータセットでトレーニングされた2つのエージェント間のインタラクションをシミュレートし、最大240msのインターネットスケールのレイテンシを考慮し、モデルがフル二重対話に参加する能力を示す。

関連論文リスト

• OmniFlatten: An End-to-end GPT Model for Seamless Voice Conversation [24.68804661538364]
  全音声対話システムは人間と人間の相互作用を著しく反映している。 低レイテンシと自然なインタラクションを実現することは、大きな課題です。 エンドツーエンド音声対話システムは、効率的で自然なエンドツーエンドシステムを開発する上で有望な方向である。 OmniFlatten氏によって生成された対話のオーディオサンプルは、このWebサイトにある。
  論文  参考訳（メタデータ） (2024-10-23T11:58:58Z)
• IntrinsicVoice: Empowering LLMs with Intrinsic Real-time Voice Interaction Abilities [55.11130688075417]
  IntrinsicVoicは、本質的なリアルタイム音声対話機能を備えたLLMである。 我々の新規アーキテクチャであるGroupFormerは、テキストシーケンスに匹敵する長さまで音声シーケンスを削減できる。 我々は,500k近い音声対音声対話を含む,メソッド500kというマルチターン音声対音声対話データセットを構築した。
  論文  参考訳（メタデータ） (2024-10-09T05:04:31Z)
• Language Model Can Listen While Speaking [17.584201137311286]
  聴取時言語モデル (LSLM) は、聴取チャネルと発声チャネルの両方を備えたエンドツーエンドシステムである。 本研究は,既存のシステムに最小限の影響を伴って,重複通信を実現するLSLMの能力を強調した。
  論文  参考訳（メタデータ） (2024-08-05T16:47:22Z)
• Beyond the Turn-Based Game: Enabling Real-Time Conversations with Duplex Models [66.24055500785657]
  従来のターンベースのチャットシステムは、ユーザが応答を生成している間に、システムが言葉で対話することを防ぐ。 これらの制限を克服するため,既存のLCMをユーザを聴きながら出力を生成し,ユーザに対して即時フィードバックを提供する。 クエリとレスポンスの時間スライスを交互に行うデータセットを構築し、インスタントインタラクションにおける典型的なフィードバックタイプをカバーする。
  論文  参考訳（メタデータ） (2024-06-22T03:20:10Z)
• Let's Go Real Talk: Spoken Dialogue Model for Face-to-Face Conversation [55.043492250775294]
  本稿では,新しい対面音声対話モデルを提案する。 ユーザ入力から音声視覚音声を処理し、応答として音声視覚音声を生成する。 また,最初の大規模マルチモーダル音声対話コーパスであるMultiDialogを紹介する。
  論文  参考訳（メタデータ） (2024-06-12T04:48:36Z)
• A Full-duplex Speech Dialogue Scheme Based On Large Language Models [23.994130020644842]
  シームレスな対話を可能にする 生成生成対話システムです システムは問い合わせ応答のためのトークンを生成し、ユーザを待ち、あるいは操作するために自律的な決定を行う。
  論文  参考訳（メタデータ） (2024-05-29T20:05:46Z)
• Evaluating Very Long-Term Conversational Memory of LLM Agents [95.84027826745609]
  我々は,高品質で長期的な対話を生成するための,マシン・ヒューマン・パイプラインを導入する。 我々は、各エージェントに画像の共有と反応の能力を持たせる。 生成した会話は、長距離一貫性のために人間のアノテーションによって検証され、編集される。
  論文  参考訳（メタデータ） (2024-02-27T18:42:31Z)
• Are LLMs Robust for Spoken Dialogues? [10.855403629160921]
  大規模な事前学習型言語モデルでは、さまざまな下流タスクで最先端のパフォーマンスが実証されている。 タスク指向対話に関する公開データセットとベンチマークのほとんどは、書かれた会話に重点を置いている。 DSTC11テストセットにおける音声タスク指向対話におけるLLMの性能評価を行った。
  論文  参考訳（メタデータ） (2024-01-04T14:36:38Z)
• BotChat: Evaluating LLMs' Capabilities of Having Multi-Turn Dialogues [72.65163468440434]
  本報告では,人間型マルチターンチャットのための既存大規模言語モデルの予備的評価を行う。 そこで我々は,ChatSEEDに基づくマルチターン対話を発話によって生成する大規模言語モデル(LLM)を提案する。 GPT-4は優れた品質の人型多元対話を生成できるが、その性能は著しく上回っている。
  論文  参考訳（メタデータ） (2023-10-20T16:53:51Z)
• Back to the Future: Bidirectional Information Decoupling Network for Multi-turn Dialogue Modeling [80.51094098799736]
  ユニバーサル対話エンコーダとして双方向情報デカップリングネットワーク(BiDeN)を提案する。 BiDeNは過去と将来の両方のコンテキストを明示的に取り入れており、幅広い対話関連のタスクに一般化することができる。 異なる下流タスクのデータセットに対する実験結果は、我々のBiDeNの普遍性と有効性を示している。
  論文  参考訳（メタデータ） (2022-04-18T03:51:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。