論文の概要: The 2nd FutureDial Challenge: Dialog Systems with Retrieval Augmented Generation (FutureDial-RAG)
- arxiv url: http://arxiv.org/abs/2405.13084v2
- Date: Sun, 15 Sep 2024 15:03:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 02:15:45.216465
- Title: The 2nd FutureDial Challenge: Dialog Systems with Retrieval Augmented Generation (FutureDial-RAG)
- Title(参考訳): 第2回未来課題:検索拡張型対話システム(FutureDial-RAG)
- Authors: Yucheng Cai, Si Chen, Yuxuan Wu, Yi Huang, Junlan Feng, Zhijian Ou,
- Abstract要約: この課題は、3000近い高品質なダイアログを備えた実際の顧客サービスデータセットであるMobileCS2データセットの上に構築されている。
本稿では,知識検索のためのトラック1と応答生成のためのトラック2という2つのタスクを定義する。
我々は,2つのトラックのベースラインシステムを構築し,そのシステムが正確な検索を行い,情報的かつ一貫性のある応答を生成できるかどうかを計測する。
- 参考スコア(独自算出の注目度): 23.849336345191556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, increasing research interests have focused on retrieval augmented generation (RAG) to mitigate hallucination for large language models (LLMs). Following this trend, we launch the FutureDial-RAG challenge at SLT 2024, which aims at promoting the study of RAG for dialog systems. The challenge builds upon the MobileCS2 dataset, a real-life customer service datasets with nearly 3000 high-quality dialogs containing annotations for knowledge base query and corresponding results. Over the dataset, we define two tasks, track 1 for knowledge retrieval and track 2 for response generation, which are core research questions in dialog systems with RAG. We build baseline systems for the two tracks and design metrics to measure whether the systems can perform accurate retrieval and generate informative and coherent response. The baseline results show that it is very challenging to perform well on the two tasks, which encourages the participating teams and the community to study how to make better use of RAG for real-life dialog systems.
- Abstract(参考訳): 近年,大規模言語モデル (LLMs) の幻覚を緩和するために,RAG(Recovery augmented generation)に注目が集まっている。
SLT 2024では,対話システムにおけるRAG研究の促進を目的としたFutureDial-RAGチャレンジを開催する。
この課題は、知識ベースクエリとそれに対応する結果のアノテーションを含む3000近い高品質なダイアログを備えた、実際の顧客サービスデータセットであるMobileCS2データセットの上に構築されている。
データセット上では,知識検索のためのトラック1と応答生成のためのトラック2という2つのタスクを定義し,RAGとの対話システムにおける中核的な研究課題である。
我々は,2つのトラックのベースラインシステムを構築し,そのシステムが正確な検索を行い,情報的かつ一貫性のある応答を生成できるかどうかを計測する。
ベースラインの結果から,2つのタスクをうまくこなすことは非常に困難であることが示され,参加チームとコミュニティは実生活の対話システムにRAGをうまく活用する方法を学ぶことが奨励される。
関連論文リスト
- Overview of AI-Debater 2023: The Challenges of Argument Generation Tasks [62.443665295250035]
第2023回中国影響コンピューティング会議(CCAC 2023)におけるAI-Debater 2023チャレンジの結果を提示する。
合計で32のチームがチャレンジに登録し、そこから11の応募をもらいました。
論文 参考訳(メタデータ) (2024-07-20T10:13:54Z) - DuetRAG: Collaborative Retrieval-Augmented Generation [57.440772556318926]
協調検索拡張生成フレームワークであるDuetRAGが提案されている。
ブートストラップの哲学はドメインフィニングとRAGモデルを同時に統合することである。
論文 参考訳(メタデータ) (2024-05-12T09:48:28Z) - ICASSP 2024 Speech Signal Improvement Challenge [27.7329948783064]
ICASSP 2024音声信号改善グランドチャレンジは、通信システムにおける音声信号の品質向上分野の研究を刺激することを目的としている。
データセットシンセサイザーを導入して競争を強化し、すべての参加チームがより高いベースラインで開始できるようにします。
我々は、主観的P.804と目的語精度の指標を用いて、実時間トラックにおける13のシステムと非実時間トラックにおける11のシステムを評価した。
論文 参考訳(メタデータ) (2024-01-25T18:08:00Z) - REACT 2024: the Second Multiple Appropriate Facial Reaction Generation
Challenge [36.84914349494818]
ダイアド的相互作用において、人間は言語的および非言語的手がかりを用いて意図と心の状態を伝える。
複数の適切な、多様性があり、現実的で、同期された人間の顔反応を自動的に生成できる機械学習(ML)モデルの開発は、難しい作業です。
本稿では、REACT 2024チャレンジのガイドラインと、その課題に利用されるデータセットについて述べる。
論文 参考訳(メタデータ) (2024-01-10T14:01:51Z) - Team Flow at DRC2023: Building Common Ground and Text-based Turn-taking
in a Travel Agent Spoken Dialogue System [7.9032835871264115]
我々のチームは、共通基盤を構築し、ユーザの発話テキストに基づいてより自然な旋回を行うことのできるシステムを開発した。
本システムでは,利用者の理解を待ちながら,共通点を用いた観光スポット検索のクエリを生成し,対話を行った。
論文 参考訳(メタデータ) (2023-12-21T13:08:09Z) - VoxSRC 2022: The Fourth VoxCeleb Speaker Recognition Challenge [95.6159736804855]
VoxCeleb Speaker Recognition Challenge 2022 (VoxSRC-22)は、InterSPEECH 2022と共同で開催された。
この課題の目的は、最先端の話者認識システムが「野生」で得られた音声から話者を識別し、分類し、認識できるかどうかを評価することである。
論文 参考訳(メタデータ) (2023-02-20T19:27:14Z) - Tourist Guidance Robot Based on HyperCLOVA [3.9385029352159906]
本稿では,対話ロボットコンペティション2022に提出したシステムについて述べる。
提案システムはルールベースとジェネレータベースのダイアログシステムを組み合わせたシステムである。
論文 参考訳(メタデータ) (2022-10-19T09:11:23Z) - ZR-2021VG: Zero-Resource Speech Challenge, Visually-Grounded Language
Modelling track, 2021 edition [96.87241233266448]
このトラックは、Zero-Resource Speech Challenge、2021年版、第2ラウンドで導入された。
我々は、新しいトラックを動機付け、参加ルールを詳細に議論する。
また,このトラック用に開発された2つのベースラインシステムについても紹介する。
論文 参考訳(メタデータ) (2021-07-14T08:29:07Z) - VoxSRC 2020: The Second VoxCeleb Speaker Recognition Challenge [99.82500204110015]
第2回「VoxCeleb Speaker Recognition Challenge」をInterspeech 2020と共に開催しました。
この課題の目的は、現在のスピーカー認識技術が、制約のないデータまたは野生のデータでスピーカーをダイアライズして認識できるかどうかを評価することでした。
本稿では,その課題を概説し,ベースライン,使用方法,結果について述べる。
論文 参考訳(メタデータ) (2020-12-12T17:20:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。