論文の概要: Multi-turn Conversational AI from Text to Multimodal Interaction: Data, Models, Evaluation, and Open Challenges

• arxiv url: http://arxiv.org/abs/2608.17605v1
• Date: Tue, 18 Aug 2026 10:14:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.302489
• Title: Multi-turn Conversational AI from Text to Multimodal Interaction: Data, Models, Evaluation, and Open Challenges
• Title（参考訳）: テキストからマルチモーダルインタラクションへの多ターン会話AI:データ、モデル、評価、オープンチャレンジ
• Abstract要約: 本研究は,テキストのみの対話,音声システム,マルチモーダル・オムニモーダルシステム,トーラメントされたエージェントを対象とするマルチターン対話型AIについて検討する。 分析の結果,複数モードのサポートはセッション間のコヒーレントな相互作用を維持できる能力よりも高速に進んでいることがわかった。 より強力な能力はモダリティにまたがって作用するが、現在のシステムは依然として永続記憶、クロスターングラウンド、完全な相互作用の堅牢な評価、文化的アライメントに苦慮している。
• 参考スコア（独自算出の注目度）: 13.848964933542666
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Conversational AI is moving beyond isolated text prompts toward sustained, multimodal interaction. In real conversations, users clarify goals, revise requests, interrupt responses, switch topics, and introduce new evidence while expecting systems to preserve context across turns. This makes multi-turn dialogue a distinct challenge requiring systems to maintain and update memory, ground responses across modalities, tools, and external knowledge, and adapt across languages and cultures. This study reviews multi-turn conversational AI across text-only dialogue, AudioLLMs and speech-native systems, multimodal and omni-modal systems, and tool-augmented agents. We organize the literature around datasets and benchmarks, modeling paradigms, training strategies, evaluation setups, and cross-cutting challenges. Our analysis shows that support for multiple modalities has advanced faster than the ability to sustain coherent interaction across a session. Despite stronger capabilities to perceive, speak, and act across modalities, current systems still struggle with persistent memory, cross-turn grounding, full-duplex interaction, robust evaluation, and cultural alignment. We conclude with a research agenda for systems that can remember, revise, ground, speak, listen, act, and adapt across turns, modalities, and cultures. (https://github.com/faiza-sfa/multiturn-conversational-ai-survey)
• Abstract（参考訳）: 会話AIは、孤立したテキストプロンプトを超えて、持続的でマルチモーダルなインタラクションへと移行している。 実際の会話では、ユーザは目標を明確にし、要求を修正し、応答を中断し、トピックを切り替え、新しいエビデンスを導入し、システムが順番にコンテキストを保存することを期待する。 これにより、マルチターン対話は、メモリの維持と更新、モダリティ、ツール、外部知識の接地応答、言語や文化全体への適応をシステムに要求する、明確な課題となる。 本研究では,テキストのみの対話,AudioLLM,音声ネイティブシステム,マルチモーダル・オムニモーダルシステム,ツール拡張エージェントを対象としたマルチターン会話AIについてレビューする。 データセットとベンチマーク、モデリングパラダイム、トレーニング戦略、評価設定、横断的課題に関する文献を整理します。 分析の結果,複数モードのサポートはセッション間のコヒーレントな相互作用を維持できる能力よりも高速に進んでいることがわかった。 モダリティにまたがって知覚、話し、行動する能力は強いが、現在のシステムは依然として、永続的な記憶、クロスターングラウンド、フルダブルプレックスな相互作用、堅牢な評価、文化的整合性に苦慮している。 私たちは、ターン、モダリティ、文化をまたいで記憶し、修正し、基礎を作り、話し、耳を傾け、行動し、適応できるシステムに関する研究アジェンダで締めくくります。 (https://github.com/faiza-sfa/multiturn-conversational-ai-survey)

関連論文リスト

• Agentic Conversational Search with Contextualized Reasoning via Reinforcement Learning [66.52010873968383]
  本稿では,RL学習を通じて学習した探索的,適応的な行動を可能にする,交互に探索と推論をインターリーブする対話エージェントを提案する。 広く使われている4つの対話型ベンチマークによる実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2026-01-19T14:55:54Z)
• UniConv: Unifying Retrieval and Response Generation for Large Language Models in Conversations [71.79210031338464]
  会話における大規模言語モデルに対する高密度検索と応答生成の統一方法を示す。 目的の異なる共同微調整を行い、不整合リスクを低減するための2つのメカニズムを設計する。 5つの対話型検索データセットの評価は、我々の統合モデルがタスクを相互に改善し、既存のベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2025-07-09T17:02:40Z)
• Enabling Chatbots with Eyes and Ears: An Immersive Multimodal Conversation System for Dynamic Interactions [13.341099059080936]
  本研究の目的は、人間とのより没入的な相互作用が可能な「目と耳」をチャットボットに装備することである。 本稿では,マルチモーダルな会話データセットであるマルチモーダルなマルチセッション・マルチパーティ・会話について紹介する。 我々のモデルはM3C$で訓練され、複数の話者との長期会話をシームレスに行う能力を示している。
  論文  参考訳（メタデータ） (2025-05-31T06:50:51Z)
• Beyond Single-Turn: A Survey on Multi-Turn Interactions with Large Language Models [8.08979200534563]
  現実世界のアプリケーションは洗練されたマルチターンインタラクションを必要とする。 大規模言語モデル(LLM)の最近の進歩は、シングルターンタスクを扱う能力に革命をもたらした。
  論文  参考訳（メタデータ） (2025-04-07T04:00:08Z)
• WavChat: A Survey of Spoken Dialogue Models [66.82775211793547]
  GPT-4oのようなシステムで実証された音声対話モデルの最近の進歩は、音声領域において大きな注目を集めている。 これらの高度な音声対話モデルは、音声、音楽、その他の音声関連の特徴を理解するだけでなく、音声のスタイリスティックな特徴や音節的な特徴も捉える。 音声対話システムの進歩にもかかわらず、これらのシステムを体系的に組織化し分析する包括的調査が欠如している。
  論文  参考訳（メタデータ） (2024-11-15T04:16:45Z)
• OmniFlatten: An End-to-end GPT Model for Seamless Voice Conversation [53.7173034249361]
  エンド・ツー・エンドのGPTベースモデルであるOmniFlattenは、低レイテンシで自然な会話に固有の複雑な振る舞いを効果的にモデル化することができる。 提案手法は, 簡便なモデリング手法と, より効率的かつ自然な対話システムを構築するための研究の方向性を提供する。
  論文  参考訳（メタデータ） (2024-10-23T11:58:58Z)
• Multimodal Contextual Dialogue Breakdown Detection for Conversational AI Models [1.4199474167684119]
  マルチモーダルな文脈対話ブレークダウン(MultConDB)モデルを導入する。 このモデルは、69.27のF1を達成することで、他の既知の最高のモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2024-04-11T23:09:18Z)
• Multimodal Conversational AI: A Survey of Datasets and Approaches [0.76146285961466]
  マルチモーダルな会話AIシステムは、質問に答え、タスクを実行し、複数のモーダルを通して自分自身を理解し、表現することで人間の会話をエミュレートする。 本稿では,多モーダル会話研究の目的を動機づけ,定義し,数学的に定式化する。
  論文  参考訳（メタデータ） (2022-05-13T21:51:42Z)
• End-to-end Spoken Conversational Question Answering: Task, Dataset and Model [92.18621726802726]
  音声による質問応答では、システムは関連する音声書き起こしの中に連続したテキストスパンからの質問に答えるように設計されている。 本稿では,複雑な対話フローをモデル化することを目的とした音声対話型質問応答タスク(SCQA)を提案する。 本研究の目的は,音声記録に基づく対話型質問に対処するシステムを構築することであり,情報収集システムによる様々なモダリティからより多くの手がかりを提供する可能性を探ることである。
  論文  参考訳（メタデータ） (2022-04-29T17:56:59Z)
• HybriDialogue: An Information-Seeking Dialogue Dataset Grounded on Tabular and Textual Data [87.67278915655712]
  我々は、ウィキペディアのテキストとテーブルの両方を基盤とした、クラウドソーシングされた自然な会話からなる新しい対話データセットHybriDialogueを提示する。 これらの会話は、複雑なマルチホップ質問をシンプルで現実的なマルチターン対話に分解することで生成される。
  論文  参考訳（メタデータ） (2022-04-28T00:52:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。