論文の概要: Generalizing Conversational Dense Retrieval via LLM-Cognition Data Augmentation

• arxiv url: http://arxiv.org/abs/2402.07092v1
• Date: Sun, 11 Feb 2024 03:27:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 17:29:10.661929
• Title: Generalizing Conversational Dense Retrieval via LLM-Cognition Data Augmentation
• Title（参考訳）: LLM-Cgnition Data Augmentationによる会話高密度検索の一般化
• Authors: Haonan Chen, Zhicheng Dou, Kelong Mao, Jiongnan Liu, Ziliang Zhao
• Abstract要約: 本稿では,LLM認識データ拡張(ConvAug)による会話高密度検索の一般化のためのフレームワークを提案する。 人間の認知にインスパイアされた私たちは、偽陽性、偽陰性、幻覚の発生を緩和する認知認識プロセスを考案した。 対照的な学習目的は、より良い会話コンテキストエンコーダのトレーニングに使用される。
• 参考スコア（独自算出の注目度）: 27.441726007929795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conversational search utilizes muli-turn natural language contexts to retrieve relevant passages. Existing conversational dense retrieval models mostly view a conversation as a fixed sequence of questions and responses, overlooking the severe data sparsity problem -- that is, users can perform a conversation in various ways, and these alternate conversations are unrecorded. Consequently, they often struggle to generalize to diverse conversations in real-world scenarios. In this work, we propose a framework for generalizing Conversational dense retrieval via LLM-cognition data Augmentation (ConvAug). ConvAug first generates multi-level augmented conversations to capture the diverse nature of conversational contexts. Inspired by human cognition, we devise a cognition-aware process to mitigate the generation of false positives, false negatives, and hallucinations. Moreover, we develop a difficulty-adaptive sample filter that selects challenging samples for complex conversations, thereby giving the model a larger learning space. A contrastive learning objective is then employed to train a better conversational context encoder. Extensive experiments conducted on four public datasets, under both normal and zero-shot settings, demonstrate the effectiveness, generalizability, and applicability of ConvAug.
• Abstract（参考訳）: 会話型検索は、ミューリターン自然言語コンテキストを用いて関連するパスを検索する。 既存の会話の密集した検索モデルは、会話を質問と回答の固定されたシーケンスと見ており、深刻なデータスパーシティの問題を見渡している。 そのため、現実世界のシナリオにおける多様な会話への一般化に苦慮することが多い。 本研究では,LLM認識データ拡張(ConvAug)による会話高密度検索を一般化するためのフレームワークを提案する。 ConvAugは、会話コンテキストの多様な性質を捉えるために、まずマルチレベルな拡張会話を生成する。 人間の認知に触発され、偽陽性、偽陰性、幻覚の発生を緩和するための認知認識プロセスを考案する。 さらに,複雑な会話に対して難解なサンプルを選択する難易度適応型サンプルフィルタを開発し,モデルにより大きな学習空間を与える。 対照的な学習目的は、より良い会話コンテキストエンコーダのトレーニングに使用される。 通常の設定とゼロショット設定の両方で4つの公開データセットで実施された大規模な実験は、ConvAugの有効性、一般化性、適用性を示している。

関連論文リスト

• Retrieval-Augmented Conversational Recommendation with Prompt-based Semi-Structured Natural Language State Tracking [16.37636420517529]
  大規模言語モデル(LLM)では、ユーザ好みの発話とユーザ生成レビューにおける複雑な言語との間の常識的な接続を解き放つことができます。 RA-RecはConvRecの対話状態トラッキングシステムで、ビデオ、オープンソースのGitHubリポジトリ、インタラクティブなGoogle Colabノートブックで紹介されている。
  論文  参考訳（メタデータ） (2024-05-25T15:41:26Z)
• Effective and Efficient Conversation Retrieval for Dialogue State Tracking with Implicit Text Summaries [48.243879779374836]
  LLM (Large Language Models) を用いたDST (Few-shot dialogue state tracking) では,会話検索を効果的かつ効率的に行うことで,学習の迅速化を図っている。 従来は検索キーやクエリとして生の対話コンテキストを使用していた。 会話のテキスト要約に基づいて会話検索を行う。 LLMに基づく会話要約器がクエリとキー生成に採用され、効果的な内部製品探索が可能となる。
  論文  参考訳（メタデータ） (2024-02-20T14:31:17Z)
• CONVERSER: Few-Shot Conversational Dense Retrieval with Synthetic Data Generation [32.10366004426449]
  対話型高密度検索のためのフレームワークであるConVERSERを提案する。 我々は,大言語モデルのテキスト内学習機能を利用して,検索コーパスの文節に与えられた会話クエリを生成する。 対話型検索ベンチマークOR-QuACとTREC CAsT 19の実験結果から,提案したConverSERは完全教師付きモデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-09-13T06:40:24Z)
• History-Aware Hierarchical Transformer for Multi-session Open-domain Dialogue System [59.78425104243993]
  マルチセッションオープンドメイン対話のための履歴認識階層変換器(HAHT)を提案する。 HAHTは歴史会話の長期記憶を維持し、歴史情報を利用して現在の会話状況を理解する。 大規模マルチセッション会話データセットの実験結果は,提案したHAHTモデルがベースラインモデルより一貫して優れていることを示唆している。
  論文  参考訳（メタデータ） (2023-02-02T06:54:33Z)
• Talk the Walk: Synthetic Data Generation for Conversational Music Recommendation [62.019437228000776]
  本稿では,広く利用可能なアイテムコレクションにおいて,符号化された専門知識を活用することで,現実的な高品質な会話データを生成するTalkWalkを提案する。 人間の収集したデータセットで100万以上の多様な会話を生成します。
  論文  参考訳（メタデータ） (2023-01-27T01:54:16Z)
• TikTalk: A Video-Based Dialogue Dataset for Multi-Modal Chitchat in Real World [97.58623810402563]
  我々はTikTalkと呼ばれるビデオベースのマルチモーダル対話データセットを導入する。 人気ビデオ共有プラットフォームから38Kのビデオを収集し、その下のユーザーから367Kの会話を投稿した。 ユーザーはビデオのマルチモーダルな体験に基づいて自発的な会話をし、現実世界のchitchatコンテキストを再現する。
  論文  参考訳（メタデータ） (2023-01-14T10:18:22Z)
• Knowledge-Grounded Conversational Data Augmentation with Generative Conversational Networks [76.11480953550013]
  生成会話ネットワークを用いて会話データを自動的に生成する。 我々は、Topical Chatデータセット上で、知識のない会話に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-07-22T22:37:14Z)
• A Neural Conversation Generation Model via Equivalent Shared Memory Investigation [39.922967513749654]
  DRMN(Deep Reading Memory Network)と呼ばれる新しい読み書き・記憶フレームワークを提案する。 DRMNは、発話生成を改善するために、類似した会話の有用な情報を記憶することができる。 弊社のモデルは、正義とeコマースの2つの大規模な会話データセットに適用する。
  論文  参考訳（メタデータ） (2021-08-20T13:20:14Z)
• Summary Grounded Conversation Generation [10.470157142861174]
  入力として会話の要約だけを考えると、事前学習された言語モデルがどのように会話全体を生成できるかを示す。 また,会話要約データセットを生成された会話で拡張することにより,会話要約の精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-06-07T04:46:31Z)
• Reasoning in Dialog: Improving Response Generation by Context Reading Comprehension [49.92173751203827]
  マルチターンダイアログでは、発話が文の完全な形を取るとは限らない。 読み解きの質問に答えるモデルの能力を検討し、応答生成性能の向上を提案する。
  論文  参考訳（メタデータ） (2020-12-14T10:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。