論文の概要: Variational Learning for Unsupervised Knowledge Grounded Dialogs
- arxiv url: http://arxiv.org/abs/2112.00653v1
- Date: Tue, 23 Nov 2021 13:41:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2021-12-06 02:15:41.038123
- Title: Variational Learning for Unsupervised Knowledge Grounded Dialogs
- Title（参考訳）: 教師なし知識基底ダイアログの変分学習
- Authors: Mayank Mishra, Dhiraj Madan, Gaurav Pandey, Danish Contractor
- Abstract要約: 知識基底ダイアログの最近の手法は,外部文書からの情報を取り入れて応答を生成する。
我々は上記の手法に対する変分的アプローチを開発し、代わりにエビデンスローバウンド(ELBO)を最大化する。
我々の知識を最大限に活用するために、我々は、オープンスケールの教師なし知識ベースダイアログシステムに変分訓練を適用した最初の人物である。
- 参考スコア（独自算出の注目度）: 6.761874595503588
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent methods for knowledge grounded dialogs generate responses by
incorporating information from an external textual document. These methods do
not require the exact document to be known during training and rely on the use
of a retrieval system to fetch relevant documents from a large index. The
documents used to generate the responses are modeled as latent variables whose
prior probabilities need to be estimated. Models such as RAG , marginalize the
document probabilities over the documents retrieved from the index to define
the log likelihood loss function which is optimized end-to-end.
In this paper, we develop a variational approach to the above technique
wherein, we instead maximize the Evidence Lower bound (ELBO). Using a
collection of three publicly available open-conversation datasets, we
demonstrate how the posterior distribution, that has information from the
ground-truth response, allows for a better approximation of the objective
function during training. To overcome the challenges associated with sampling
over a large knowledge collection, we develop an efficient approach to
approximate the ELBO. To the best of our knowledge we are the first to apply
variational training for open-scale unsupervised knowledge grounded dialog
systems.
- Abstract（参考訳）: 知識基底ダイアログの最近の手法は,外部文書からの情報を取り入れて応答を生成する。
これらの方法は、トレーニング中に知る正確な文書を必要とせず、大規模なインデックスから関連文書を取得するために検索システムを利用する。
応答を生成するのに使われる文書は、前の確率を推定する必要がある潜在変数としてモデル化される。
RAGのようなモデルでは、インデックスから取得したドキュメントのドキュメント確率をハーフライズして、エンドツーエンドに最適化されたログ可能性損失関数を定義する。
本稿では,上記の手法に対する変分的アプローチを開発し,その代わりにエビデンスの下限(elbo)を最大化する。
3つの公開されたオープンコンバーションデータセットのコレクションを使用して、接地反応からの情報を持つ後方分布が、トレーニング中に目的関数をよりよく近似できることを実証する。
大規模な知識収集のサンプリングに関わる課題を克服するため,ELBOを近似する効率的な手法を開発した。
私たちの知識を最大限に活用するため、私たちはオープンスケールの教師なし知識接地ダイアログシステムに変分訓練を適用しました。
関連論文リスト
- Query Decomposition for RAG: Balancing Exploration-Exploitation [83.79639293409802]
RAGシステムは複雑なユーザ要求に対処し、それらをサブクエリに分解し、それぞれに関連する可能性のあるドキュメントを取得し、それを集約して回答を生成する。
クエリの分解とドキュメントの検索をエクスプロレーション探索設定で定式化し、一度に1つのドキュメントを検索すると、与えられたサブクエリの有用性についての信念が構築される。
我々の主な発見は、ランク情報と人的判断を用いた文書関連性の推定により、文書レベルの精度が35%向上し、α-nDCGが15%向上し、長文生成の下流タスクの性能が向上するということである。
論文 参考訳（メタデータ） (2025-10-21T13:37:11Z) - Chunk Knowledge Generation Model for Enhanced Information Retrieval: A Multi-task Learning Approach [13.945285357933487]
本研究では,文書をチャンク単位に分割し,チャンク毎のテキストデータを生成し,検索効率と精度を同時に向上する手法を提案する。
提案した「チャンク知識生成モデル」では、T5ベースのマルチタスク学習構造を採用し、各文書チャンクからタイトルと候補質問を同時に生成する。
GPTに基づく305のクエリドキュメントペアの評価では、提案したモデルによる検索がTop@10で95.41%の精度を達成した。
論文 参考訳（メタデータ） (2025-09-19T06:32:30Z) - Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
言語モデルの性能の効果的な指標としての可能性を示す。
提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
論文 参考訳（メタデータ） (2024-11-12T13:14:09Z) - Coarse-to-Fine Knowledge Selection for Document Grounded Dialogs [11.63334863772068]
マルチドキュメント基盤対話システム(DGDS)は,文書の集合から支援された知識を見出すことで,ユーザの要求に答える。
本稿では,粒度の粗い知識検索と粒度の細かい知識抽出の両方を統一されたフレームワークで最適化することを目的としたRe3Gを提案する。
論文 参考訳（メタデータ） (2023-02-23T08:28:29Z) - Incorporating Relevance Feedback for Information-Seeking Retrieval using
Few-Shot Document Re-Ranking [56.80065604034095]
我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。
異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
論文 参考訳（メタデータ） (2022-10-19T16:19:37Z) - Generate rather than Retrieve: Large Language Models are Strong Context
Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。
我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文 参考訳（メタデータ） (2022-09-21T01:30:59Z) - Enhanced Knowledge Selection for Grounded Dialogues via Document
Semantic Graphs [123.50636090341236]
本稿では,背景知識文書を自動的に文書意味グラフに変換することを提案する。
文書意味グラフは文ノードを用いて文レベル情報を保存し,文間の概念接続を提供する。
本実験により,HolEにおける知識選択タスクとエンドツーエンド応答生成タスクの双方において,意味グラフに基づく知識選択が文選択ベースラインよりも改善されることが示されている。
論文 参考訳（メタデータ） (2022-06-15T04:51:32Z) - Unified Pretraining Framework for Document Understanding [52.224359498792836]
文書理解のための統合事前学習フレームワークであるUDocを紹介する。
UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。
UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
論文 参考訳（メタデータ） (2022-04-22T21:47:04Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳（メタデータ） (2022-04-12T03:49:35Z) - Retrieval-Free Knowledge-Grounded Dialogue Response Generation with
Adapters [52.725200145600624]
軽量アダプタで事前学習した言語モデルに事前知識を注入し、検索プロセスをバイパスする KnowExpert を提案する。
実験結果から,KnowExpertは検索ベースラインと相容れない性能を示した。
論文 参考訳（メタデータ） (2021-05-13T12:33:23Z) - Efficient Retrieval Augmented Generation from Unstructured Knowledge for
Task-Oriented Dialog [46.93744191416991]
本稿では,第9回ダイアログ・システム・テクノロジー・チャレンジ(DSTC 9)の第1トラックについて概説する。
タスクの目標は、構造化されていないドキュメントからの知識を必要とするタスク指向のダイアログにおいて、ユーザのターンに対する応答を生成することである。
論文 参考訳（メタデータ） (2021-02-09T04:50:35Z) - REALM: Retrieval-Augmented Language Model Pre-Training [37.3178586179607]
言語モデルの事前学習を潜伏知識検索システムで強化し,ウィキペディアのような大規模コーパスから文書を検索し,出席できるようにする。
本研究では,このような知識検索を教師なしで事前学習する方法を初めて示す。
オープンドメイン質問回答(Open-QA)の課題を微調整し,検索型言語モデル事前学習(REALM)の有効性を実証する。
論文 参考訳（メタデータ） (2020-02-10T18:40:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。