論文の概要: REALTALK: A 21-Day Real-World Dataset for Long-Term Conversation

• arxiv url: http://arxiv.org/abs/2502.13270v1
• Date: Tue, 18 Feb 2025 20:29:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:00:28.762505
• Title: REALTALK: A 21-Day Real-World Dataset for Long-Term Conversation
• Title（参考訳）: REALTALK: 長期会話のための21日間のリアルタイムデータセット
• Authors: Dong-Ho Lee, Adyasha Maharana, Jay Pujara, Xiang Ren, Francesco Barbieri,
• Abstract要約: 本稿では、21日間のメッセージアプリ対話のコーパスであるREALTALKを紹介する。 EI属性とペルソナの整合性を比較し,現実世界の対話による課題を理解する。 その結果,モデルでは対話履歴のみからユーザをシミュレートすることが困難であり,特定のユーザチャットの微調整はペルソナのエミュレーションを改善することがわかった。
• 参考スコア（独自算出の注目度）: 51.97224538045096
• License:
• Abstract: Long-term, open-domain dialogue capabilities are essential for chatbots aiming to recall past interactions and demonstrate emotional intelligence (EI). Yet, most existing research relies on synthetic, LLM-generated data, leaving open questions about real-world conversational patterns. To address this gap, we introduce REALTALK, a 21-day corpus of authentic messaging app dialogues, providing a direct benchmark against genuine human interactions. We first conduct a dataset analysis, focusing on EI attributes and persona consistency to understand the unique challenges posed by real-world dialogues. By comparing with LLM-generated conversations, we highlight key differences, including diverse emotional expressions and variations in persona stability that synthetic dialogues often fail to capture. Building on these insights, we introduce two benchmark tasks: (1) persona simulation where a model continues a conversation on behalf of a specific user given prior dialogue context; and (2) memory probing where a model answers targeted questions requiring long-term memory of past interactions. Our findings reveal that models struggle to simulate a user solely from dialogue history, while fine-tuning on specific user chats improves persona emulation. Additionally, existing models face significant challenges in recalling and leveraging long-term context within real-world conversations.
• Abstract（参考訳）: チャットボットは、過去の対話を思い出し、感情的知性(EI)を示すことを目的とした、長期的なオープンドメイン対話能力が不可欠である。 しかし、既存のほとんどの研究は合成LLM生成データに依存しており、現実世界の会話パターンに関するオープンな疑問を残している。 このギャップに対処するため、21日間のメッセージアプリ対話のコーパスであるREALTALKを導入し、真のヒューマンインタラクションに対する直接的なベンチマークを提供する。 まず、EI属性とペルソナの整合性に着目してデータセット分析を行い、現実世界の対話によって引き起こされる固有の課題を理解する。 LLMで生成した会話と比較することにより、多様な感情表現や、合成対話がキャプチャーに失敗するペルソナ安定性の変動など、重要な違いを浮き彫りにする。 これらの知見に基づいて,(1)モデルが特定のユーザに代わって会話を継続するペルソナシミュレーション,(2)モデルが過去の対話の長期記憶を必要とする問題に答えるメモリ探索という2つのベンチマークタスクを導入する。 その結果,モデルでは対話履歴のみからユーザをシミュレートすることが困難であり,特定のユーザチャットの微調整はペルソナのエミュレーションを改善することがわかった。 さらに、既存のモデルは、現実世界の会話の中で長期的なコンテキストをリコールし活用する上で、重大な課題に直面します。

関連論文リスト

• Self-Directed Turing Test for Large Language Models [56.64615470513102]
  チューリングテストは、自然言語の会話においてAIが人間のような振る舞いを示すことができるかどうかを調べる。 従来のチューリングテストでは、各参加者が1回に1つのメッセージだけを送信する厳格な対話形式を採用している。 本稿では,バーストダイアログ形式を用いた自己指示チューリングテストを提案する。
  論文  参考訳（メタデータ） (2024-08-19T09:57:28Z)
• DialSim: A Real-Time Simulator for Evaluating Long-Term Multi-Party Dialogue Understanding of Conversation Systems [13.915753261117901]
  リアルタイム対話シミュレータであるDialSimを紹介する。 本シミュレータでは、人気番組のキャラクターの役割を会話システムに割り当てる。 DialSimの主な特徴は、適切な時間内に応答するシステムの能力を評価することである。
  論文  参考訳（メタデータ） (2024-06-19T01:37:10Z)
• Dialogue Agents 101: A Beginner's Guide to Critical Ingredients for Designing Effective Conversational Systems [29.394466123216258]
  本研究は,対話エージェントの主要な特徴,対応するオープンドメインデータセット,およびこれらのデータセットをベンチマークする手法について概説する。 我々は,既存のデータセットの会話から構築された統一dIalogue dataseTであるUNITを提案する。
  論文  参考訳（メタデータ） (2023-07-14T10:05:47Z)
• Does Collaborative Human-LM Dialogue Generation Help Information Extraction from Human Dialogues? [55.28340832822234]
  実際のアプリケーションにおける人間の対話の問題解決は、既存のWizard-of-Ozコレクションよりもはるかに複雑である。 本稿では,リアルな対話を合成できる人間間対話生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-13T20:02:50Z)
• Back to the Future: Bidirectional Information Decoupling Network for Multi-turn Dialogue Modeling [80.51094098799736]
  ユニバーサル対話エンコーダとして双方向情報デカップリングネットワーク(BiDeN)を提案する。 BiDeNは過去と将来の両方のコンテキストを明示的に取り入れており、幅広い対話関連のタスクに一般化することができる。 異なる下流タスクのデータセットに対する実験結果は、我々のBiDeNの普遍性と有効性を示している。
  論文  参考訳（メタデータ） (2022-04-18T03:51:46Z)
• Commonsense-Focused Dialogues for Response Generation: An Empirical Study [39.49727190159279]
  対話応答生成におけるコモンセンスの実証的研究について述べる。 まず、ConceptNetを利用して既存の対話データセットから共通感覚対話を自動的に抽出する。 次に、対話的な環境での社会的常識を示すことを目的とした、25K対話を備えた対話データセットを新たに収集する。
  論文  参考訳（メタデータ） (2021-09-14T04:32:09Z)
• DialogLM: Pre-trained Model for Long Dialogue Understanding and Summarization [19.918194137007653]
  本稿では,長い対話理解と要約のための事前学習フレームワークを提案する。 長い会話の性質を考慮し、生成前学習のためのウィンドウベースの認知的アプローチを提案する。 我々は,対話要約,抽象的質問応答,トピックセグメンテーションのタスクをカバーする,長文対話の5つのデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-09-06T13:55:03Z)
• Dialogue History Matters! Personalized Response Selectionin Multi-turn Retrieval-based Chatbots [62.295373408415365]
  本稿では,コンテキスト応答マッチングのためのパーソナライズドハイブリッドマッチングネットワーク(phmn)を提案する。 1) ユーザ固有の対話履歴からパーソナライズされた発話行動を付加的なマッチング情報として抽出する。 ユーザ識別による2つの大規模データセット,すなわちパーソナライズされた対話 Corpus Ubuntu (P-Ubuntu) とパーソナライズされたWeiboデータセット (P-Weibo) のモデルを評価する。
  論文  参考訳（メタデータ） (2021-03-17T09:42:11Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。