論文の概要: UniMS-RAG: A Unified Multi-source Retrieval-Augmented Generation for Personalized Dialogue Systems
- arxiv url: http://arxiv.org/abs/2401.13256v3
- Date: Tue, 26 Nov 2024 12:37:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-27 13:32:52.934803
- Title: UniMS-RAG: A Unified Multi-source Retrieval-Augmented Generation for Personalized Dialogue Systems
- Title（参考訳）: UniMS-RAG:パーソナライズされた対話システムのためのマルチソース検索拡張生成
- Authors: Hongru Wang, Wenyu Huang, Yang Deng, Rui Wang, Zezhong Wang, Yufei Wang, Fei Mi, Jeff Z. Pan, Kam-Fai Wong,
- Abstract要約: 大規模言語モデル(LLM)は多くの自然言語理解および生成タスクにおいて例外的な機能を示している。
我々は、パーソナライズされた応答を3つのサブタスク(知識ソース選択、知識検索、応答生成)に分解する。
統一多ソース検索拡張生成システム(UniMS-RAG)を提案する。
- 参考スコア（独自算出の注目度）: 43.266153244137215
- License:
- Abstract: Large Language Models (LLMs) has shown exceptional capabilities in many natual language understanding and generation tasks. However, the personalization issue still remains a much-coveted property, especially when it comes to the multiple sources involved in the dialogue system. To better plan and incorporate the use of multiple sources in generating personalized response, we firstly decompose it into three sub-tasks: Knowledge Source Selection, Knowledge Retrieval, and Response Generation. We then propose a novel Unified Multi-Source Retrieval-Augmented Generation system (UniMS-RAG) Specifically, we unify these three sub-tasks with different formulations into the same sequence-to-sequence paradigm during the training, to adaptively retrieve evidences and evaluate the relevance on-demand using special tokens, called acting tokens and evaluation tokens. Enabling language models to generate acting tokens facilitates interaction with various knowledge sources, allowing them to adapt their behavior to diverse task requirements. Meanwhile, evaluation tokens gauge the relevance score between the dialogue context and the retrieved evidence. In addition, we carefully design a self-refinement mechanism to iteratively refine the generated response considering 1) the consistency scores between the generated response and retrieved evidence; and 2) the relevance scores. Experiments on two personalized datasets (DuLeMon and KBP) show that UniMS-RAG achieves state-of-the-art performance on the knowledge source selection and response generation task with itself as a retriever in a unified manner. Extensive analyses and discussions are provided for shedding some new perspectives for personalized dialogue systems.
- Abstract（参考訳）: 大規模言語モデル(LLM)は多くの自然言語理解および生成タスクにおいて例外的な機能を示している。
しかし、対話システムに関わる複数の情報源に関して、パーソナライズ問題はいまだに未解決のままである。
パーソナライズされた応答を生成するための複数のソースの計画と利用を改善するため、まず、知識ソース選択、知識検索、応答生成の3つのサブタスクに分割する。
そこで我々は,これらの3つのサブタスクを異なる定式化してトレーニング中に同一のシーケンス・ツー・シーケンス・パラダイムに統一し,エビデンスを適応的に検索し,特別なトークン(行動トークンと評価トークン)を用いてオンデマンドで妥当性を評価する。
言語モデルを用いて行動トークンを生成することにより、さまざまな知識ソースとのインタラクションが容易になり、さまざまなタスク要求にそれらの振る舞いを適応させることができる。
一方、評価トークンは、対話コンテキストと検索された証拠との間の関連スコアを測定する。
さらに、生成した応答を反復的に洗練する自己補充機構を慎重に設計する。
1) 生成した応答と回収された証拠との整合性スコア
2) 関連スコア。
2つのパーソナライズされたデータセット(DuLeMonとKBP)の実験により、UniMS-RAGは、知識ソースの選択と応答生成タスクに対して、自分自身を統一的な方法で、最先端のパフォーマンスを達成することが示された。
パーソナライズされた対話システムのための新しい視点を包括的に分析し,議論する。
関連論文リスト
- Do LLMs suffer from Multi-Party Hangover? A Diagnostic Approach to Addressee Recognition and Response Selection in Conversations [11.566214724241798]
本研究では,会話の特定の構造的属性間でのモデル性能を調査する手法を提案する。
我々はモデルの弱点を診断するために、応答選択とアドレス認識タスクに焦点をあてる。
その結果、応答選択は会話のテキストの内容に依存しており、アドレス認識ではその構造的次元を捉える必要があることがわかった。
論文 参考訳（メタデータ） (2024-09-27T10:07:33Z) - PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded
Dialogue Systems [59.1250765143521]
現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。
我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。
対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
論文 参考訳（メタデータ） (2023-09-19T08:27:09Z) - Diverse and Faithful Knowledge-Grounded Dialogue Generation via
Sequential Posterior Inference [82.28542500317445]
本稿では,知識の選択と対話生成が可能な,逐次後推論(Sequential Posterior Inference, SPI)と呼ばれるエンドツーエンド学習フレームワークを提案する。
他の方法とは異なり、SPIは推論ネットワークを必要とせず、後部分布の単純な幾何学を仮定する。
論文 参考訳（メタデータ） (2023-06-01T21:23:13Z) - Mixtures of Deep Neural Experts for Automated Speech Scoring [11.860560781894458]
本論文は,言語学習者の音声応答からテストプロンプトに対する第二言語能力の自動評価の課題に対処する。
本手法は,(1)音声対話のテキスト書き起こしを自動生成する音声認識システム,(2)テキスト書き起こしを習熟クラスに分類する深層学習者に基づく複数分類システム,の2つの異なるモジュールに依存している。
論文 参考訳（メタデータ） (2021-06-23T15:44:50Z) - Dialogue History Matters! Personalized Response Selectionin Multi-turn
Retrieval-based Chatbots [62.295373408415365]
本稿では,コンテキスト応答マッチングのためのパーソナライズドハイブリッドマッチングネットワーク(phmn)を提案する。
1) ユーザ固有の対話履歴からパーソナライズされた発話行動を付加的なマッチング情報として抽出する。
ユーザ識別による2つの大規模データセット,すなわちパーソナライズされた対話 Corpus Ubuntu (P-Ubuntu) とパーソナライズされたWeiboデータセット (P-Weibo) のモデルを評価する。
論文 参考訳（メタデータ） (2021-03-17T09:42:11Z) - Learning an Effective Context-Response Matching Model with
Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。
我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。
実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
論文 参考訳（メタデータ） (2020-09-14T08:44:46Z) - Do Response Selection Models Really Know What's Next? Utterance
Manipulation Strategies for Multi-turn Response Selection [11.465266718370536]
本研究では,検索に基づく対話システムにおけるユーザとシステム発話履歴の最適応答を選択するタスクについて検討する。
この問題に対処するための発話操作戦略(UMS)を提案する。
UMSは、ダイアログコヒーレンスを維持するための応答選択モデルを支援するいくつかの戦略(挿入、削除、検索)から構成される。
論文 参考訳（メタデータ） (2020-09-10T07:39:05Z) - Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term
Importance Estimation and Neural Query Rewriting [56.268862325167575]
マルチステージアドホックIRシステムにクエリ再構成を組み込んだ会話経路検索(ConvPR)に取り組む。
本稿では,1項の重要度推定と2項のニューラルクエリ書き換えという2つの手法を提案する。
前者に対しては、周波数に基づく信号を用いて会話コンテキストから抽出した重要な用語を用いて会話クエリを拡張する。
後者では,会話クエリを,事前訓練されたシーケンス列列列モデルを用いて,自然な,スタンドアロンの,人間の理解可能なクエリに再構成する。
論文 参考訳（メタデータ） (2020-05-05T14:30:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。