論文の概要: TREC iKAT 2023: A Test Collection for Evaluating Conversational and Interactive Knowledge Assistants
- arxiv url: http://arxiv.org/abs/2405.02637v1
- Date: Sat, 4 May 2024 11:22:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 19:10:59.441203
- Title: TREC iKAT 2023: A Test Collection for Evaluating Conversational and Interactive Knowledge Assistants
- Title（参考訳）: TREC iKAT 2023:対話型知識アシスタントの評価のためのテストコレクション
- Authors: Mohammad Aliannejadi, Zahra Abbasiantaeb, Shubham Chatterjee, Jeffery Dalton, Leif Azzopardi,
- Abstract要約: TREC Interactive Knowledge Assistance Track (iKAT) コレクションは、研究者が会話検索エージェント(CSA)をテストおよび評価できるようにすることを目的としている。
このコレクションには、20のトピックにまたがる36のパーソナライズされた対話が含まれており、それぞれにパーソナライズされたユーザペルソナを定義するPersonal Text Knowledge Base (PTKB)が組み合わされている。
約26,000の通路を持つ344の旋回は、関連性の評価、および4つの重要な次元(妥当性、完全性、基底性、自然性)で生成された応答に関する追加評価として提供される。
- 参考スコア（独自算出の注目度）: 10.511277428023305
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conversational information seeking has evolved rapidly in the last few years with the development of Large Language Models (LLMs), providing the basis for interpreting and responding in a naturalistic manner to user requests. The extended TREC Interactive Knowledge Assistance Track (iKAT) collection aims to enable researchers to test and evaluate their Conversational Search Agents (CSA). The collection contains a set of 36 personalized dialogues over 20 different topics each coupled with a Personal Text Knowledge Base (PTKB) that defines the bespoke user personas. A total of 344 turns with approximately 26,000 passages are provided as assessments on relevance, as well as additional assessments on generated responses over four key dimensions: relevance, completeness, groundedness, and naturalness. The collection challenges CSA to efficiently navigate diverse personal contexts, elicit pertinent persona information, and employ context for relevant conversations. The integration of a PTKB and the emphasis on decisional search tasks contribute to the uniqueness of this test collection, making it an essential benchmark for advancing research in conversational and interactive knowledge assistants.
- Abstract（参考訳）: 近年,Large Language Models (LLMs) の開発によって会話情報探索が急速に発展し,ユーザ要求に対する自然な解釈と応答の基盤となっている。
TREC Interactive Knowledge Assistance Track (iKAT) は、研究者が会話検索エージェント(Conversational Search Agents, CSA)をテストおよび評価できるようにすることを目的としている。
このコレクションには、20のトピックにまたがる36のパーソナライズされた対話が含まれており、それぞれにパーソナライズされたユーザペルソナを定義するPersonal Text Knowledge Base (PTKB)が組み合わされている。
約26,000の通路を持つ344の旋回は、関連性の評価、および4つの重要な次元(妥当性、完全性、基底性、自然性)で生成された応答に関する追加評価として提供される。
このコレクションは、CSAに対して、多様な個人的コンテキストを効率的にナビゲートし、関連するペルソナ情報を提供し、関連する会話にコンテキストを活用するよう求めている。
PTKBの統合と決定探索タスクの強調は、このテストコレクションの独特性に寄与し、対話型および対話型知識アシスタントの研究を進めるための重要なベンチマークとなる。
関連論文リスト
- ClarQ-LLM: A Benchmark for Models Clarifying and Requesting Information in Task-Oriented Dialog [11.585398152713505]
ClarQ-LLMは、バイリンガルな英語と中国語の会話タスク、会話エージェント、評価指標からなる評価フレームワークである。
ベンチマークには31の異なるタスクタイプが含まれており、それぞれに情報検索者とプロバイダエージェント間の10のユニークな対話シナリオがある。
固定された対話コンテンツに基づいてエージェントを評価する従来のベンチマークとは異なり、ClarQ-LLMには、元のヒューマンプロバイダを複製するプロバイダ対話エージェントが含まれている。
論文 参考訳（メタデータ） (2024-09-09T22:29:35Z) - ProCIS: A Benchmark for Proactive Retrieval in Conversations [21.23826888841565]
本稿では,280万件以上の会話からなるプロアクティブな文書検索のための大規模データセットを提案する。
クラウドソーシング実験を行い、高品質で比較的完全な妥当性判定を行う。
また、各文書に関連する会話部分に関するアノテーションを収集し、前向きな検索システムの評価を可能にする。
論文 参考訳（メタデータ） (2024-05-10T13:11:07Z) - TREC iKAT 2023: The Interactive Knowledge Assistance Track Overview [11.276981461219515]
iKATは、ユーザの以前のインタラクションと現在のコンテキストに基づいて応答を適応する対話型検索エージェントの作成と研究を強調している。
実行のほとんどはパイプラインでLarge Language Models(LLM)を活用しており、いくつかはジェネレータの検索アプローチに重点を置いている。
論文 参考訳（メタデータ） (2024-01-02T18:40:03Z) - ChatGPT Evaluation on Sentence Level Relations: A Focus on Temporal,
Causal, and Discourse Relations [52.26802326949116]
対話型大規模言語モデルChatGPTの性能を,文間関係に基づいて定量的に評価する。
ChatGPTは因果関係の検出と推論において極めて優れた能力を示す。
既存の明示的な談話接続物との談話関係の大多数を特定できるが、暗黙的な談話関係は依然として恐ろしい課題である。
論文 参考訳（メタデータ） (2023-04-28T13:14:36Z) - FCC: Fusing Conversation History and Candidate Provenance for Contextual
Response Ranking in Dialogue Systems [53.89014188309486]
複数のチャネルからコンテキスト情報を統合できるフレキシブルなニューラルネットワークフレームワークを提案する。
会話応答ランキングタスクの評価に広く用いられているMSDialogデータセット上で,本モデルの評価を行った。
論文 参考訳（メタデータ） (2023-03-31T23:58:28Z) - End-to-end Spoken Conversational Question Answering: Task, Dataset and
Model [92.18621726802726]
音声による質問応答では、システムは関連する音声書き起こしの中に連続したテキストスパンからの質問に答えるように設計されている。
本稿では,複雑な対話フローをモデル化することを目的とした音声対話型質問応答タスク(SCQA)を提案する。
本研究の目的は,音声記録に基づく対話型質問に対処するシステムを構築することであり,情報収集システムによる様々なモダリティからより多くの手がかりを提供する可能性を探ることである。
論文 参考訳（メタデータ） (2022-04-29T17:56:59Z) - QAConv: Question Answering on Informative Conversations [85.2923607672282]
ビジネスメールやパネルディスカッション,作業チャネルなど,情報的な会話に重点を置いています。
合計で、スパンベース、フリーフォーム、および回答不能な質問を含む34,204のQAペアを収集します。
論文 参考訳（メタデータ） (2021-05-14T15:53:05Z) - Detecting and Classifying Malevolent Dialogue Responses: Taxonomy, Data
and Methodology [68.8836704199096]
コーパスベースの会話インタフェースは、テンプレートベースのエージェントや検索ベースのエージェントよりも多様な自然なレスポンスを生成することができる。
コーパスベースの会話エージェントの生成能力が増大すると、マレヴォレントな反応を分類し、フィルタリングする必要性が生じる。
不適切な内容の認識と分類に関するこれまでの研究は、主にある種のマレヴォレンスに焦点を絞っている。
論文 参考訳（メタデータ） (2020-08-21T22:43:27Z) - Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term
Importance Estimation and Neural Query Rewriting [56.268862325167575]
マルチステージアドホックIRシステムにクエリ再構成を組み込んだ会話経路検索(ConvPR)に取り組む。
本稿では,1項の重要度推定と2項のニューラルクエリ書き換えという2つの手法を提案する。
前者に対しては、周波数に基づく信号を用いて会話コンテキストから抽出した重要な用語を用いて会話クエリを拡張する。
後者では,会話クエリを,事前訓練されたシーケンス列列列モデルを用いて,自然な,スタンドアロンの,人間の理解可能なクエリに再構成する。
論文 参考訳（メタデータ） (2020-05-05T14:30:20Z) - Topic Propagation in Conversational Search [0.0]
会話の文脈では、ユーザは、自然言語質問のシーケンスとして、多面的な情報を必要とすることを表現します。
筆者らは,2019 TREC Conversational Assistant Track (CAsT) フレームワークを用いて, (i) トピック認識発話の書き直し, (ii) 書き直された発話の候補節の検索, (iii) ニューラルネットワークによる候補節の再ランク付けを行う。
論文 参考訳（メタデータ） (2020-04-29T10:06:00Z) - TREC CAsT 2019: The Conversational Assistance Track Overview [34.65827453762031]
Conversational Assistance Track (CAsT) は、CIS(Conversational Information Seeking)研究を促進するためのTREC 2019の新しいトラックである。
ドキュメントコーパスは、TREC Complex Answer Retrieval (CAR)とMicrosoft MAchine Reading COmprehension (MARCO)データセットから38,426,252パスである。
今年は、対話型クエリ理解とランキングのための様々な方法を使用して、合計65のランを提出した。
論文 参考訳（メタデータ） (2020-03-30T16:58:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。