論文の概要: Variational Learning for Unsupervised Knowledge Grounded Dialogs

• arxiv url: http://arxiv.org/abs/2112.00653v1
• Date: Tue, 23 Nov 2021 13:41:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-06 02:15:41.038123
• Title: Variational Learning for Unsupervised Knowledge Grounded Dialogs
• Title（参考訳）: 教師なし知識基底ダイアログの変分学習
• Authors: Mayank Mishra, Dhiraj Madan, Gaurav Pandey, Danish Contractor
• Abstract要約: 知識基底ダイアログの最近の手法は,外部文書からの情報を取り入れて応答を生成する。 我々は上記の手法に対する変分的アプローチを開発し、代わりにエビデンスローバウンド(ELBO)を最大化する。 我々の知識を最大限に活用するために、我々は、オープンスケールの教師なし知識ベースダイアログシステムに変分訓練を適用した最初の人物である。
• 参考スコア（独自算出の注目度）: 6.761874595503588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent methods for knowledge grounded dialogs generate responses by incorporating information from an external textual document. These methods do not require the exact document to be known during training and rely on the use of a retrieval system to fetch relevant documents from a large index. The documents used to generate the responses are modeled as latent variables whose prior probabilities need to be estimated. Models such as RAG , marginalize the document probabilities over the documents retrieved from the index to define the log likelihood loss function which is optimized end-to-end. In this paper, we develop a variational approach to the above technique wherein, we instead maximize the Evidence Lower bound (ELBO). Using a collection of three publicly available open-conversation datasets, we demonstrate how the posterior distribution, that has information from the ground-truth response, allows for a better approximation of the objective function during training. To overcome the challenges associated with sampling over a large knowledge collection, we develop an efficient approach to approximate the ELBO. To the best of our knowledge we are the first to apply variational training for open-scale unsupervised knowledge grounded dialog systems.
• Abstract（参考訳）: 知識基底ダイアログの最近の手法は,外部文書からの情報を取り入れて応答を生成する。 これらの方法は、トレーニング中に知る正確な文書を必要とせず、大規模なインデックスから関連文書を取得するために検索システムを利用する。 応答を生成するのに使われる文書は、前の確率を推定する必要がある潜在変数としてモデル化される。 RAGのようなモデルでは、インデックスから取得したドキュメントのドキュメント確率をハーフライズして、エンドツーエンドに最適化されたログ可能性損失関数を定義する。 本稿では,上記の手法に対する変分的アプローチを開発し,その代わりにエビデンスの下限(elbo)を最大化する。 3つの公開されたオープンコンバーションデータセットのコレクションを使用して、接地反応からの情報を持つ後方分布が、トレーニング中に目的関数をよりよく近似できることを実証する。 大規模な知識収集のサンプリングに関わる課題を克服するため,ELBOを近似する効率的な手法を開発した。 私たちの知識を最大限に活用するため、私たちはオープンスケールの教師なし知識接地ダイアログシステムに変分訓練を適用しました。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Coarse-to-Fine Knowledge Selection for Document Grounded Dialogs [11.63334863772068]
  マルチドキュメント基盤対話システム(DGDS)は,文書の集合から支援された知識を見出すことで,ユーザの要求に答える。 本稿では,粒度の粗い知識検索と粒度の細かい知識抽出の両方を統一されたフレームワークで最適化することを目的としたRe3Gを提案する。
  論文  参考訳（メタデータ） (2023-02-23T08:28:29Z)
• Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
  我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。 異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
  論文  参考訳（メタデータ） (2022-10-19T16:19:37Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)
• Unified Pretraining Framework for Document Understanding [52.224359498792836]
  文書理解のための統合事前学習フレームワークであるUDocを紹介する。 UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。 UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
  論文  参考訳（メタデータ） (2022-04-22T21:47:04Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• Retrieval-Free Knowledge-Grounded Dialogue Response Generation with Adapters [52.725200145600624]
  軽量アダプタで事前学習した言語モデルに事前知識を注入し、検索プロセスをバイパスする KnowExpert を提案する。 実験結果から,KnowExpertは検索ベースラインと相容れない性能を示した。
  論文  参考訳（メタデータ） (2021-05-13T12:33:23Z)
• Efficient Retrieval Augmented Generation from Unstructured Knowledge for Task-Oriented Dialog [46.93744191416991]
  本稿では,第9回ダイアログ・システム・テクノロジー・チャレンジ(DSTC 9)の第1トラックについて概説する。 タスクの目標は、構造化されていないドキュメントからの知識を必要とするタスク指向のダイアログにおいて、ユーザのターンに対する応答を生成することである。
  論文  参考訳（メタデータ） (2021-02-09T04:50:35Z)
• REALM: Retrieval-Augmented Language Model Pre-Training [37.3178586179607]
  言語モデルの事前学習を潜伏知識検索システムで強化し,ウィキペディアのような大規模コーパスから文書を検索し,出席できるようにする。 本研究では,このような知識検索を教師なしで事前学習する方法を初めて示す。 オープンドメイン質問回答(Open-QA)の課題を微調整し,検索型言語モデル事前学習(REALM)の有効性を実証する。
  論文  参考訳（メタデータ） (2020-02-10T18:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。