論文の概要: Entriever: Energy-based Retriever for Knowledge-Grounded Dialog Systems

• arxiv url: http://arxiv.org/abs/2506.00585v1
• Date: Sat, 31 May 2025 14:42:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.657527
• Title: Entriever: Energy-based Retriever for Knowledge-Grounded Dialog Systems
• Title（参考訳）: Entriever:知識を中心とした対話システムのためのエネルギーベースのレトリバー
• Authors: Yucheng Cai, Ke Li, Yi Huang, Junlan Feng, Zhijian Ou,
• Abstract要約: 検索者は、コンテキストが与えられた知識ベースから関連する知識片を検索する。 エネルギーベースのレトリバーであるEntrieverを提案する。 本稿では,Entrieverが知識検索タスクにおいて,強力なクロスエンコーダベースラインを大幅に上回っていることを示す。
• 参考スコア（独自算出の注目度）: 20.612395472432798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A retriever, which retrieves relevant knowledge pieces from a knowledge base given a context, is an important component in many natural language processing (NLP) tasks. Retrievers have been introduced in knowledge-grounded dialog systems to improve knowledge acquisition. In knowledge-grounded dialog systems, when conditioning on a given context, there may be multiple relevant and correlated knowledge pieces. However, knowledge pieces are usually assumed to be conditionally independent in current retriever models. To address this issue, we propose Entriever, an energy-based retriever. Entriever directly models the candidate retrieval results as a whole instead of modeling the knowledge pieces separately, with the relevance score defined by an energy function. We explore various architectures of energy functions and different training methods for Entriever, and show that Entriever substantially outperforms the strong cross-encoder baseline in knowledge retrieval tasks. Furthermore, we show that in semi-supervised training of knowledge-grounded dialog systems, Entriever enables effective scoring of retrieved knowledge pieces and significantly improves end-to-end performance of dialog systems.
• Abstract（参考訳）: 文脈が与えられた知識ベースから関連する知識を抽出する検索器は、多くの自然言語処理(NLP)タスクにおいて重要な要素である。 知識獲得を改善するために、知識ベースダイアログシステムにレトリバーが導入されている。 知識接地ダイアログシステムでは、与えられた文脈で条件付けを行う場合、複数の関連性があり、関連する知識部品が存在する可能性がある。 しかしながら、知識の断片は通常、現在のレトリバーモデルでは条件的に独立であると仮定される。 この問題に対処するため,エネルギーベースのレトリバーであるEntrieverを提案する。 Entrieverは、エネルギー関数によって定義される関連スコアを用いて、知識部品を別々にモデル化する代わりに、候補検索結果を全体として直接モデル化する。 本稿では,エネルギ関数の様々なアーキテクチャとEntrieverの異なるトレーニング手法について検討し,知識検索タスクにおいて,Entrieverが強力なクロスエンコーダベースラインを大幅に上回っていることを示す。 さらに,知識接地ダイアログシステムの半教師付きトレーニングにおいて,Entrieverは検索した知識片の効果的なスコアリングを可能にし,対話システムのエンドツーエンド性能を大幅に向上させることを示す。

関連論文リスト

• Enhancing Knowledge Retrieval with Topic Modeling for Knowledge-Grounded Dialogue [0.6650227510403052]
  本稿では,知識ベースにおけるトピックモデリングを利用して,検索精度をさらに向上する手法を提案する。 また,改良された検索性能を活用するために,大規模な言語モデルChatGPTの実験を行った。
  論文  参考訳（メタデータ） (2024-05-07T23:32:32Z)
• A Knowledge Plug-and-Play Test Bed for Open-domain Dialogue Generation [51.31429493814664]
  マルチソース対話知識の選択と応答生成を評価するために,ウィキペディアのマルチソースウィザードというベンチマークを示す。 本稿では,すでに訓練済みの対話モデルを用いて,未確認の情報源からの新たなサポート知識を利用するための新たな課題である対話知識プラグイン・アンド・プレイを提案する。
  論文  参考訳（メタデータ） (2024-03-06T06:54:02Z)
• UniRQR: A Unified Model for Retrieval Decision, Query, and Response Generation in Internet-Based Knowledge Dialogue Systems [8.724141214921314]
  インターネット検索による知識ベースの対話システムは、通常、検索決定、クエリ生成、レスポンス生成の3つのタスクに分けられる。 我々の研究は、プロンプトおよびマルチタスク学習アプローチによって促進される単一の統一モデルを用いることで、この監視に対処する。 これらの機能を統合することで、事前訓練されたモデルの潜在能力をフル活用し、複数のモデルのデプロイに伴う複雑さとコストを削減する。
  論文  参考訳（メタデータ） (2024-01-11T06:09:15Z)
• Multi-Grained Knowledge Retrieval for End-to-End Task-Oriented Dialog [42.088274728084265]
  外部データベースから適切なドメイン知識を取得することは、エンドツーエンドのタスク指向の対話システムの中心にある。 既存のシステムの多くは、知識検索と応答生成を融合させ、参照応答からの直接監督でそれらを最適化している。 応答生成から知識検索を分離し,多粒度知識検索システムを提案する。
  論文  参考訳（メタデータ） (2023-05-17T12:12:46Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• Knowledge-Grounded Dialogue Generation with a Unified Knowledge Representation [78.85622982191522]
  既存のシステムは、トレーニングデータでカバーされる限られたトピックのために、目に見えないトピックでうまく機能しない。 本稿では,異なる知識源を均質化した言語モデルであるPLUGについて述べる。 完全に教師された設定の下で最先端のメソッドと同等のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2021-12-15T07:11:02Z)
• Retrieval-Free Knowledge-Grounded Dialogue Response Generation with Adapters [52.725200145600624]
  軽量アダプタで事前学習した言語モデルに事前知識を注入し、検索プロセスをバイパスする KnowExpert を提案する。 実験結果から,KnowExpertは検索ベースラインと相容れない性能を示した。
  論文  参考訳（メタデータ） (2021-05-13T12:33:23Z)
• Contextualized Knowledge-aware Attentive Neural Network: Enhancing Answer Selection with Knowledge [77.77684299758494]
  ナレッジグラフ(KG)による外部知識による回答選択モデル向上のアプローチを幅広く検討しています。 まず、KGの外部知識とテキスト情報との密接な相互作用を考慮し、QA文表現を学習するコンテキスト知識相互作用学習フレームワークであるナレッジアウェアニューラルネットワーク(KNN)を紹介します。 KG情報の多様性と複雑性に対処するために, カスタマイズされたグラフ畳み込みネットワーク (GCN) を介して構造情報を用いた知識表現学習を改善し, コンテキストベースおよび知識ベースの文表現を総合的に学習する コンテキスト型知識認識型アテンシブニューラルネットワーク (CKANN) を提案する。
  論文  参考訳（メタデータ） (2021-04-12T05:52:20Z)
• Unstructured Knowledge Access in Task-oriented Dialog Modeling using Language Inference, Knowledge Retrieval and Knowledge-Integrative Response Generation [44.184890645068485]
  外部知識に富んだダイアログシステムは、サポートするデータベース/APIの範囲外にあるユーザクエリを処理できる。 タスク指向対話システムのパイプラインを構成するKDEAK, KnowleDgEFactor, Ens-GPTの3つのサブシステムを提案する。 実験の結果,提案パイプラインシステムはベースラインを上回り,高品質な応答を生成することがわかった。
  論文  参考訳（メタデータ） (2021-01-15T11:24:32Z)
• Improving Commonsense Question Answering by Graph-based Iterative Retrieval over Multiple Knowledge Sources [26.256653692882715]
  疑問に答えるシステムにおいて、コモンセンスを効果的に活用する方法はまだ検討中である。 本研究では,ConceptNet,Wikipedia,Cambridge Dictionaryを統合した質問応答手法を提案する。 学習済みの言語モデルを用いて、質問を符号化し、知識と選択を検索し、回答の選択を意識した注意機構を提案する。
  論文  参考訳（メタデータ） (2020-11-05T08:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。