論文の概要: DialSim: A Real-Time Simulator for Evaluating Long-Term Multi-Party Dialogue Understanding of Conversation Systems

• arxiv url: http://arxiv.org/abs/2406.13144v5
• Date: Mon, 17 Feb 2025 11:17:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:06:51.784105
• Title: DialSim: A Real-Time Simulator for Evaluating Long-Term Multi-Party Dialogue Understanding of Conversation Systems
• Title（参考訳）: DialSim:会話システムの長期多人数対話理解のためのリアルタイムシミュレータ
• Authors: Jiho Kim, Woosog Chay, Hyeonji Hwang, Daeun Kyung, Hyunseung Chung, Eunbyeol Cho, Yohan Jo, Edward Choi,
• Abstract要約: リアルタイム対話シミュレータであるDialSimを紹介する。 本シミュレータでは、人気番組のキャラクターの役割を会話システムに割り当てる。 DialSimの主な特徴は、適切な時間内に応答するシステムの能力を評価することである。
• 参考スコア（独自算出の注目度）: 13.915753261117901
• License:
• Abstract: Recent advancements in Large Language Models (LLMs) have significantly enhanced the capabilities of conversation systems, making them applicable to various fields (e.g., education). Despite their progress, the evaluation of the systems often overlooks the complexities of real-world conversations, such as real-time interactions, multi-party dialogues, and extended contextual dependencies. To bridge this gap, we introduce DialSim, a real-time dialogue simulator. In this simulator, a conversation system is assigned the role of a character from popular TV shows, requiring it to respond to spontaneous questions using past dialogue information and to distinguish between known and unknown information. Key features of DialSim include assessing the system's ability to respond within a reasonable time limit, handling long-term multi-party dialogues, and evaluating performance under randomized questioning with LongDialQA, a novel, high-quality question-answering dataset. Our experiments using DialSim reveal the strengths and weaknesses of the latest conversation systems, offering valuable insights for future advancements in conversational AI. DialSim is available at https://dialsim.github.io/.
• Abstract（参考訳）: 近年のLarge Language Models (LLM) の進歩は会話システムの能力を大幅に向上させ、様々な分野(例えば教育)に応用されている。 彼らの進歩にもかかわらず、システムの評価は、リアルタイム対話、多人数対話、拡張されたコンテキスト依存など、現実世界の会話の複雑さをしばしば見落としている。 このギャップを埋めるために,リアルタイム対話シミュレータDialSimを導入する。 本シミュレータでは、過去の対話情報を用いて自発的な質問に応答し、未知の情報と未知の情報とを区別し、人気テレビ番組のキャラクターの役割を対話システムに割り当てる。 DialSimの主な特徴は、システムの適切な時間制限内で応答する能力の評価、長期にわたる多人数対話の処理、新しい高品質な質問応答データセットであるLongDialQAによるランダムな質問によるパフォーマンス評価である。 DialSimを使った我々の実験は、最新の会話システムの長所と短所を明らかにし、対話型AIの今後の進歩に対する貴重な洞察を提供する。 DialSimはhttps://dialsim.github.io/.comで入手できる。

関連論文リスト

• REALTALK: A 21-Day Real-World Dataset for Long-Term Conversation [51.97224538045096]
  本稿では、21日間のメッセージアプリ対話のコーパスであるREALTALKを紹介する。 EI属性とペルソナの整合性を比較し,現実世界の対話による課題を理解する。 その結果,モデルでは対話履歴のみからユーザをシミュレートすることが困難であり,特定のユーザチャットの微調整はペルソナのエミュレーションを改善することがわかった。
  論文  参考訳（メタデータ） (2025-02-18T20:29:01Z)
• WavChat: A Survey of Spoken Dialogue Models [66.82775211793547]
  GPT-4oのようなシステムで実証された音声対話モデルの最近の進歩は、音声領域において大きな注目を集めている。 これらの高度な音声対話モデルは、音声、音楽、その他の音声関連の特徴を理解するだけでなく、音声のスタイリスティックな特徴や音節的な特徴も捉える。 音声対話システムの進歩にもかかわらず、これらのシステムを体系的に組織化し分析する包括的調査が欠如している。
  論文  参考訳（メタデータ） (2024-11-15T04:16:45Z)
• Mind the Gap Between Conversations for Improved Long-Term Dialogue Generation [21.109006148673846]
  GapChatは、セッション間の時間が異なるマルチセッション対話データセットである。 データセットはリアルタイムに構築されているが、話者の生活における出来事の進行をシミュレートして、長い時間間隔で発生する現実的な対話を生成する。 時間認識モデルは、選択したトピックと会話から得られる情報との関係を判断する指標において、より良いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-10-24T00:12:38Z)
• PK-Chat: Pointer Network Guided Knowledge Driven Generative Dialogue Model [79.64376762489164]
  PK-Chatは、知識グラフ上のポインタネットワークと、事前訓練された言語モデルを組み合わせた、ポインタネットワーク誘導生成対話モデルである。 PK-Chatが対話で生成した単語は、単語リストの予測と外部知識グラフ知識の直接予測から導かれる。 PK-Chatに基づく対話システムは、地球科学の学術シナリオ向けに構築されている。
  論文  参考訳（メタデータ） (2023-04-02T18:23:13Z)
• End-to-end Spoken Conversational Question Answering: Task, Dataset and Model [92.18621726802726]
  音声による質問応答では、システムは関連する音声書き起こしの中に連続したテキストスパンからの質問に答えるように設計されている。 本稿では,複雑な対話フローをモデル化することを目的とした音声対話型質問応答タスク(SCQA)を提案する。 本研究の目的は,音声記録に基づく対話型質問に対処するシステムを構築することであり,情報収集システムによる様々なモダリティからより多くの手がかりを提供する可能性を探ることである。
  論文  参考訳（メタデータ） (2022-04-29T17:56:59Z)
• HybriDialogue: An Information-Seeking Dialogue Dataset Grounded on Tabular and Textual Data [87.67278915655712]
  我々は、ウィキペディアのテキストとテーブルの両方を基盤とした、クラウドソーシングされた自然な会話からなる新しい対話データセットHybriDialogueを提示する。 これらの会話は、複雑なマルチホップ質問をシンプルで現実的なマルチターン対話に分解することで生成される。
  論文  参考訳（メタデータ） (2022-04-28T00:52:16Z)
• A Review of Dialogue Systems: From Trained Monkeys to Stochastic Parrots [0.0]
  人工知能をデプロイして、人間と会話できる自動対話エージェントを構築することを目指している。 本稿では,長年にわたって対話システムを構築するために開発された手法について概説する。
  論文  参考訳（メタデータ） (2021-11-02T08:07:55Z)
• BERT-CoQAC: BERT-based Conversational Question Answering in Context [10.811729691130349]
  履歴変換をシステム内に組み込むためのBERTという,パブリックに利用可能なプリトレーニング言語モデルに基づくフレームワークを紹介する。 実験の結果,我々のフレームワークはQuACリーダボードの最先端モデルと同等の性能を示した。
  論文  参考訳（メタデータ） (2021-04-23T03:05:17Z)
• Retrieval Augmentation Reduces Hallucination in Conversation [49.35235945543833]
  知識に基づく対話のためのループ型ニューラルネットワークアーキテクチャの利用を検討する。 我々は,2つの知識に基づく会話タスクにおいて,最高のモデルが最先端のパフォーマンスを得ることを示す。
  論文  参考訳（メタデータ） (2021-04-15T16:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。