論文の概要: DialSim: A Real-Time Simulator for Evaluating Long-Term Dialogue Understanding of Conversational Agents

• arxiv url: http://arxiv.org/abs/2406.13144v1
• Date: Wed, 19 Jun 2024 01:37:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 23:38:44.261931
• Title: DialSim: A Real-Time Simulator for Evaluating Long-Term Dialogue Understanding of Conversational Agents
• Title（参考訳）: DialSim:会話エージェントの長期対話理解のためのリアルタイムシミュレータ
• Authors: Jiho Kim, Woosog Chay, Hyeonji Hwang, Daeun Kyung, Hyunseung Chung, Eunbyeol Cho, Yohan Jo, Edward Choi,
• Abstract要約: リアルタイム対話シミュレータであるDialSimを紹介する。 本シミュレータでは、人気番組のキャラクターの役割をエージェントに割り当てる。 DialSimの主な特徴は、適切な時間内に応答するエージェントの能力を評価することである。
• 参考スコア（独自算出の注目度）: 13.915753261117901
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in Large Language Models (LLMs) have significantly enhanced the capabilities of conversational agents, making them applicable to various fields (e.g., education). Despite their progress, the evaluation of the agents often overlooks the complexities of real-world conversations, such as real-time interactions, multi-party dialogues, and extended contextual dependencies. To bridge this gap, we introduce DialSim, a real-time dialogue simulator. In this simulator, an agent is assigned the role of a character from popular TV shows, requiring it to respond to spontaneous questions using past dialogue information and to distinguish between known and unknown information. Key features of DialSim include evaluating the agent's ability to respond within a reasonable time limit, handling long-term multi-party dialogues, and managing adversarial settings (e.g., swap character names) to challenge the agent's reliance on pre-trained knowledge. We utilized this simulator to evaluate the latest conversational agents and analyze their limitations. Our experiments highlight both the strengths and weaknesses of these agents, providing valuable insights for future improvements in the field of conversational AI. DialSim is available at https://github.com/jiho283/Simulator.
• Abstract（参考訳）: 近年のLarge Language Models (LLM) の進歩は会話エージェントの能力を大幅に向上させ、様々な分野(例えば教育)に応用されている。 その進展にもかかわらず、エージェントの評価は、リアルタイム対話、多人数対話、拡張されたコンテキスト依存など、現実世界の会話の複雑さをしばしば見落としている。 このギャップを埋めるために,リアルタイム対話シミュレータDialSimを導入する。 このシミュレータでは、エージェントが人気番組のキャラクターの役割を割り当てられ、過去の対話情報を用いて自発的な質問に応答し、未知の情報と未知の情報とを区別する必要がある。 DialSimの主な特徴は、エージェントの適切な時間制限内で応答する能力の評価、長期にわたる多人数対話の処理、およびエージェントの事前訓練された知識への依存に挑戦するための敵の設定(文字名の変更など)の管理である。 我々は,このシミュレータを用いて,最新の会話エージェントを評価し,その制限を解析した。 我々の実験は、これらのエージェントの強みと弱みの両方を強調し、対話型AIの分野における将来の改善に対する貴重な洞察を提供する。 DialSimはhttps://github.com/jiho283/Simulator.comで入手できる。

関連論文リスト

• REALTALK: A 21-Day Real-World Dataset for Long-Term Conversation [51.97224538045096]
  本稿では、21日間のメッセージアプリ対話のコーパスであるREALTALKを紹介する。 EI属性とペルソナの整合性を比較し,現実世界の対話による課題を理解する。 その結果,モデルでは対話履歴のみからユーザをシミュレートすることが困難であり,特定のユーザチャットの微調整はペルソナのエミュレーションを改善することがわかった。
  論文  参考訳（メタデータ） (2025-02-18T20:29:01Z)
• WavChat: A Survey of Spoken Dialogue Models [66.82775211793547]
  GPT-4oのようなシステムで実証された音声対話モデルの最近の進歩は、音声領域において大きな注目を集めている。 これらの高度な音声対話モデルは、音声、音楽、その他の音声関連の特徴を理解するだけでなく、音声のスタイリスティックな特徴や音節的な特徴も捉える。 音声対話システムの進歩にもかかわらず、これらのシステムを体系的に組織化し分析する包括的調査が欠如している。
  論文  参考訳（メタデータ） (2024-11-15T04:16:45Z)
• Mind the Gap Between Conversations for Improved Long-Term Dialogue Generation [21.109006148673846]
  GapChatは、セッション間の時間が異なるマルチセッション対話データセットである。 データセットはリアルタイムに構築されているが、話者の生活における出来事の進行をシミュレートして、長い時間間隔で発生する現実的な対話を生成する。 時間認識モデルは、選択したトピックと会話から得られる情報との関係を判断する指標において、より良いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-10-24T00:12:38Z)
• PK-Chat: Pointer Network Guided Knowledge Driven Generative Dialogue Model [79.64376762489164]
  PK-Chatは、知識グラフ上のポインタネットワークと、事前訓練された言語モデルを組み合わせた、ポインタネットワーク誘導生成対話モデルである。 PK-Chatが対話で生成した単語は、単語リストの予測と外部知識グラフ知識の直接予測から導かれる。 PK-Chatに基づく対話システムは、地球科学の学術シナリオ向けに構築されている。
  論文  参考訳（メタデータ） (2023-04-02T18:23:13Z)
• End-to-end Spoken Conversational Question Answering: Task, Dataset and Model [92.18621726802726]
  音声による質問応答では、システムは関連する音声書き起こしの中に連続したテキストスパンからの質問に答えるように設計されている。 本稿では,複雑な対話フローをモデル化することを目的とした音声対話型質問応答タスク(SCQA)を提案する。 本研究の目的は,音声記録に基づく対話型質問に対処するシステムを構築することであり,情報収集システムによる様々なモダリティからより多くの手がかりを提供する可能性を探ることである。
  論文  参考訳（メタデータ） (2022-04-29T17:56:59Z)
• HybriDialogue: An Information-Seeking Dialogue Dataset Grounded on Tabular and Textual Data [87.67278915655712]
  我々は、ウィキペディアのテキストとテーブルの両方を基盤とした、クラウドソーシングされた自然な会話からなる新しい対話データセットHybriDialogueを提示する。 これらの会話は、複雑なマルチホップ質問をシンプルで現実的なマルチターン対話に分解することで生成される。
  論文  参考訳（メタデータ） (2022-04-28T00:52:16Z)
• A Review of Dialogue Systems: From Trained Monkeys to Stochastic Parrots [0.0]
  人工知能をデプロイして、人間と会話できる自動対話エージェントを構築することを目指している。 本稿では,長年にわたって対話システムを構築するために開発された手法について概説する。
  論文  参考訳（メタデータ） (2021-11-02T08:07:55Z)
• BERT-CoQAC: BERT-based Conversational Question Answering in Context [10.811729691130349]
  履歴変換をシステム内に組み込むためのBERTという,パブリックに利用可能なプリトレーニング言語モデルに基づくフレームワークを紹介する。 実験の結果,我々のフレームワークはQuACリーダボードの最先端モデルと同等の性能を示した。
  論文  参考訳（メタデータ） (2021-04-23T03:05:17Z)
• Retrieval Augmentation Reduces Hallucination in Conversation [49.35235945543833]
  知識に基づく対話のためのループ型ニューラルネットワークアーキテクチャの利用を検討する。 我々は,2つの知識に基づく会話タスクにおいて,最高のモデルが最先端のパフォーマンスを得ることを示す。
  論文  参考訳（メタデータ） (2021-04-15T16:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。