論文の概要: UniConv: Unifying Retrieval and Response Generation for Large Language Models in Conversations
- arxiv url: http://arxiv.org/abs/2507.07030v1
- Date: Wed, 09 Jul 2025 17:02:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-10 17:37:43.689301
- Title: UniConv: Unifying Retrieval and Response Generation for Large Language Models in Conversations
- Title（参考訳）: UniConv:会話における大規模言語モデルの検索と応答生成の統合
- Authors: Fengran Mo, Yifan Gao, Chuan Meng, Xin Liu, Zhuofeng Wu, Kelong Mao, Zhengyang Wang, Pei Chen, Zheng Li, Xian Li, Bing Yin, Meng Jiang,
- Abstract要約: 会話における大規模言語モデルに対する高密度検索と応答生成の統一方法を示す。
目的の異なる共同微調整を行い、不整合リスクを低減するための2つのメカニズムを設計する。
5つの対話型検索データセットの評価は、我々の統合モデルがタスクを相互に改善し、既存のベースラインより優れていることを示す。
- 参考スコア（独自算出の注目度）: 71.79210031338464
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid advancement of conversational search systems revolutionizes how information is accessed by enabling the multi-turn interaction between the user and the system. Existing conversational search systems are usually built with two different models. This separation restricts the system from leveraging the intrinsic knowledge of the models simultaneously, which cannot ensure the effectiveness of retrieval benefiting the generation. The existing studies for developing unified models cannot fully address the aspects of understanding conversational context, managing retrieval independently, and generating responses. In this paper, we explore how to unify dense retrieval and response generation for large language models in conversation. We conduct joint fine-tuning with different objectives and design two mechanisms to reduce the inconsistency risks while mitigating data discrepancy. The evaluations on five conversational search datasets demonstrate that our unified model can mutually improve both tasks and outperform the existing baselines.
- Abstract（参考訳）: 対話型検索システムの急速な進歩は、ユーザとシステム間のマルチターンインタラクションを可能にすることによって、情報へのアクセス方法に革命をもたらす。
既存の会話検索システムは、2つの異なるモデルで構築される。
この分離により、モデル固有の知識を同時に活用することをシステムに制限する。
統合モデルを構築するための既存の研究は、会話の文脈を理解し、検索を独立に管理し、応答を生成するという側面を完全には解決できない。
本稿では,対話における大規模言語モデルの高密度検索と応答生成を統一する方法について検討する。
目的の異なる共同微調整を行い、データの相違を緩和しながら不整合リスクを低減するための2つのメカニズムを設計する。
5つの対話型検索データセットの評価は、我々の統合モデルがタスクを相互に改善し、既存のベースラインより優れていることを示す。
関連論文リスト
- HEISIR: Hierarchical Expansion of Inverted Semantic Indexing for Training-free Retrieval of Conversational Data using LLMs [0.3277163122167434]
本稿では,会話データ検索における意味理解を強化する新しいフレームワークであるHEISIRを紹介する。
Heisir は,(1)階層型トリプレットの定式化と(2)アジュネート・アジュメンテーション(Adjunct Augmentation)という2段階のプロセスを実装し,SVOA(Subject-Verb-Object-Adjunct)四重項からなるセマンティック指標を生成する。
実験の結果,HEISIRは様々な埋め込み型や言語モデルにまたがる微調整モデルよりも優れていた。
論文 参考訳（メタデータ） (2025-03-06T06:39:25Z) - UniMS-RAG: A Unified Multi-source Retrieval-Augmented Generation for Personalized Dialogue Systems [43.266153244137215]
大規模言語モデル(LLM)は多くの自然言語理解および生成タスクにおいて例外的な機能を示している。
我々は、パーソナライズされた応答を3つのサブタスク(知識ソース選択、知識検索、応答生成)に分解する。
統一多ソース検索拡張生成システム(UniMS-RAG)を提案する。
論文 参考訳（メタデータ） (2024-01-24T06:50:20Z) - UniRQR: A Unified Model for Retrieval Decision, Query, and Response
Generation in Internet-Based Knowledge Dialogue Systems [8.724141214921314]
インターネット検索による知識ベースの対話システムは、通常、検索決定、クエリ生成、レスポンス生成の3つのタスクに分けられる。
我々の研究は、プロンプトおよびマルチタスク学習アプローチによって促進される単一の統一モデルを用いることで、この監視に対処する。
これらの機能を統合することで、事前訓練されたモデルの潜在能力をフル活用し、複数のモデルのデプロイに伴う複雑さとコストを削減する。
論文 参考訳（メタデータ） (2024-01-11T06:09:15Z) - Large Language Models for Information Retrieval: A Survey [58.30439850203101]
情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。
近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。
LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
論文 参考訳（メタデータ） (2023-08-14T12:47:22Z) - Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue [22.103162555263143]
比較学習とマルチタスク学習を導入し、問題を共同でモデル化する。
提案手法は,複数の公開データセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2022-03-22T10:13:27Z) - Learning an Effective Context-Response Matching Model with
Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。
我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。
実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
論文 参考訳（メタデータ） (2020-09-14T08:44:46Z) - Ranking Enhanced Dialogue Generation [77.8321855074999]
対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。
これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。
本稿では,ランキング拡張対話生成フレームワークを提案する。
論文 参考訳（メタデータ） (2020-08-13T01:49:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。