論文の概要: The 2nd FutureDial Challenge: Dialog Systems with Retrieval Augmented Generation (FutureDial-RAG)

• arxiv url: http://arxiv.org/abs/2405.13084v2
• Date: Sun, 15 Sep 2024 15:03:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 02:15:45.216465
• Title: The 2nd FutureDial Challenge: Dialog Systems with Retrieval Augmented Generation (FutureDial-RAG)
• Title（参考訳）: 第2回未来課題:検索拡張型対話システム(FutureDial-RAG)
• Authors: Yucheng Cai, Si Chen, Yuxuan Wu, Yi Huang, Junlan Feng, Zhijian Ou,
• Abstract要約: この課題は、3000近い高品質なダイアログを備えた実際の顧客サービスデータセットであるMobileCS2データセットの上に構築されている。 本稿では,知識検索のためのトラック1と応答生成のためのトラック2という2つのタスクを定義する。 我々は,2つのトラックのベースラインシステムを構築し,そのシステムが正確な検索を行い,情報的かつ一貫性のある応答を生成できるかどうかを計測する。
• 参考スコア（独自算出の注目度）: 23.849336345191556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, increasing research interests have focused on retrieval augmented generation (RAG) to mitigate hallucination for large language models (LLMs). Following this trend, we launch the FutureDial-RAG challenge at SLT 2024, which aims at promoting the study of RAG for dialog systems. The challenge builds upon the MobileCS2 dataset, a real-life customer service datasets with nearly 3000 high-quality dialogs containing annotations for knowledge base query and corresponding results. Over the dataset, we define two tasks, track 1 for knowledge retrieval and track 2 for response generation, which are core research questions in dialog systems with RAG. We build baseline systems for the two tracks and design metrics to measure whether the systems can perform accurate retrieval and generate informative and coherent response. The baseline results show that it is very challenging to perform well on the two tasks, which encourages the participating teams and the community to study how to make better use of RAG for real-life dialog systems.
• Abstract（参考訳）: 近年,大規模言語モデル (LLMs) の幻覚を緩和するために,RAG(Recovery augmented generation)に注目が集まっている。 SLT 2024では,対話システムにおけるRAG研究の促進を目的としたFutureDial-RAGチャレンジを開催する。 この課題は、知識ベースクエリとそれに対応する結果のアノテーションを含む3000近い高品質なダイアログを備えた、実際の顧客サービスデータセットであるMobileCS2データセットの上に構築されている。 データセット上では,知識検索のためのトラック1と応答生成のためのトラック2という2つのタスクを定義し,RAGとの対話システムにおける中核的な研究課題である。 我々は,2つのトラックのベースラインシステムを構築し,そのシステムが正確な検索を行い,情報的かつ一貫性のある応答を生成できるかどうかを計測する。 ベースラインの結果から,2つのタスクをうまくこなすことは非常に困難であることが示され,参加チームとコミュニティは実生活の対話システムにRAGをうまく活用する方法を学ぶことが奨励される。

関連論文リスト

• Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent [102.31558123570437]
  マルチモーダル大規模言語モデル(MLLM)に固有の「ハロシン化」問題を緩和する上で,mRAG(Multimodal Retrieval Augmented Generation)が重要な役割を果たしている。 マルチモーダル検索のための自己適応型計画エージェントOmniSearchを提案する。
  論文  参考訳（メタデータ） (2024-11-05T09:27:21Z)
• Adaptive Retrieval-Augmented Generation for Conversational Systems [25.35137570524043]
  本研究では,システム応答の各ターンを外部知識で拡張する必要性について検討する。 適応的拡張のバイナリ選択に人間の判断を活用することにより、ゲーティングモデルであるRAGateを開発する。
  論文  参考訳（メタデータ） (2024-07-31T16:04:03Z)
• Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation [14.448198170932226]
  Think-on-Graph 2.0 (ToG-2) は、構造化されていない知識ソースと構造化されていない知識ソースの両方から情報を反復的に取得するハイブリッドRAGフレームワークである。 ToG-2は、グラフ検索とコンテキスト検索の交互に、質問に関連する詳細な手がかりを検索する。 GPT-3.5を用いて、7つの知識集約データセットのうち6つにおいて、ToG-2が最先端(SOTA)性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-07-15T15:20:40Z)
• Ragnarök: A Reusable RAG Framework and Baselines for TREC 2024 Retrieval-Augmented Generation Track [51.25144287084172]
  RAGベースの検索システムを構築、テスト、視覚化、体系的に評価するためのアリーナを持つことが不可欠である。 TREC 2024 RAG Trackを提案する。
  論文  参考訳（メタデータ） (2024-06-24T17:37:52Z)
• DuetRAG: Collaborative Retrieval-Augmented Generation [57.440772556318926]
  協調検索拡張生成フレームワークであるDuetRAGが提案されている。 ブートストラップの哲学はドメインフィニングとRAGモデルを同時に統合することである。
  論文  参考訳（メタデータ） (2024-05-12T09:48:28Z)
• Towards a Search Engine for Machines: Unified Ranking for Multiple Retrieval-Augmented Large Language Models [21.115495457454365]
  uRAGは、複数の下流検索拡張生成システム(RAG)を提供する統合検索エンジンを備えたフレームワークである。 我々は、訓練に従事する18のRAGシステムと、uRAGを検索エンジンの新規ユーザとして使用する18の未知のRAGシステムからなる大規模な実験エコシステムを構築した。
  論文  参考訳（メタデータ） (2024-04-30T19:51:37Z)
• Response Enhanced Semi-supervised Dialogue Query Generation [40.17161986495854]
  ラベルのない会話でモデル性能を向上させるための半教師付き学習フレームワーク、SemiDQGを提案する。 まず、類似性に基づくクエリ選択手法を適用し、高品質なRA生成擬似クエリを選択する。 我々は、QPをさらに強化するためにREINFORCEアルゴリズムを採用し、RAによる報酬をきめ細かい訓練信号として利用する。
  論文  参考訳（メタデータ） (2023-12-20T02:19:54Z)
• Dual Semantic Knowledge Composed Multimodal Dialog Systems [114.52730430047589]
  本稿では,MDS-S2という新しいマルチモーダルタスク指向対話システムを提案する。 コンテキスト関連属性と関係知識を知識ベースから取得する。 また、合成された応答表現から意味情報を抽出するために、潜在クエリ変数のセットを考案する。
  論文  参考訳（メタデータ） (2023-05-17T06:33:26Z)
• Information Extraction and Human-Robot Dialogue towards Real-life Tasks: A Baseline Study with the MobileCS Dataset [52.22314870976088]
  SereTODチャレンジは、実際のユーザとChina Mobileのカスタマーサービススタッフの実際のダイアログ書き起こしで構成されるMobileCSデータセットを編成してリリースする。 MobileCSデータセットに基づいて、SereTODチャレンジには2つのタスクがあり、対話システム自体の構築を評価するだけでなく、ダイアログの書き起こしからの情報も抽出する。 本稿では主に,MobileCSデータセットを用いた2つのタスクのベースラインスタディを示す。
  論文  参考訳（メタデータ） (2022-09-27T15:30:43Z)
• Modelling Hierarchical Structure between Dialogue Policy and Natural Language Generator with Option Framework for Task-oriented Dialogue System [49.39150449455407]
  HDNOは、特定の対話行為表現の設計を避けるために潜在対話行為を設計するためのオプションフレームワークである。 RL,LaRL,HDSAで学習した単語レベルE2Eモデルと比較して,マルチドメイン対話のデータセットであるMultiWoz 2.0とMultiWoz 2.1でHDNOをテストする。
  論文  参考訳（メタデータ） (2020-06-11T20:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。