論文の概要: Efficient Retrieval Augmented Generation from Unstructured Knowledge for Task-Oriented Dialog

• arxiv url: http://arxiv.org/abs/2102.04643v1
• Date: Tue, 9 Feb 2021 04:50:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-10 15:06:33.933063
• Title: Efficient Retrieval Augmented Generation from Unstructured Knowledge for Task-Oriented Dialog
• Title（参考訳）: タスク指向ダイアログのための非構造化知識による効率的な検索
• Authors: David Thulke, Nico Daheim, Christian Dugast, Hermann Ney
• Abstract要約: 本稿では,第9回ダイアログ・システム・テクノロジー・チャレンジ(DSTC 9)の第1トラックについて概説する。 タスクの目標は、構造化されていないドキュメントからの知識を必要とするタスク指向のダイアログにおいて、ユーザのターンに対する応答を生成することである。
• 参考スコア（独自算出の注目度）: 46.93744191416991
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper summarizes our work on the first track of the ninth Dialog System Technology Challenge (DSTC 9), "Beyond Domain APIs: Task-oriented Conversational Modeling with Unstructured Knowledge Access". The goal of the task is to generate responses to user turns in a task-oriented dialog that require knowledge from unstructured documents. The task is divided into three subtasks: detection, selection and generation. In order to be compute efficient, we formulate the selection problem in terms of hierarchical classification steps. We achieve our best results with this model. Alternatively, we employ siamese sequence embedding models, referred to as Dense Knowledge Retrieval, to retrieve relevant documents. This method further reduces the computation time by a factor of more than 100x at the cost of degradation in R@1 of 5-6% compared to the first model. Then for either approach, we use Retrieval Augmented Generation to generate responses based on multiple selected snippets and we show how the method can be used to fine-tune trained embeddings.
• Abstract（参考訳）: 本稿では,第9回ダイアログシステム技術チャレンジ(DSTC 9)の第一弾として,"Beyond Domain API: Task-oriented Conversational Modeling with Unstructured Knowledge Access"について概説する。 タスクの目的は、非構造化文書からの知識を必要とするタスク指向ダイアログで、ユーザーへの応答を生成することです。 タスクは、検出、選択、生成の3つのサブタスクに分けられる。 計算を効率的に行うために,階層的分類ステップの観点から選択問題を定式化する。 私たちはこのモデルで最高の結果を得る。 あるいは、Dense Knowledge Retrievalと呼ばれるサイアム配列埋め込みモデルを使用して、関連する文書を取得します。 この方法は、最初のモデルと比較して5〜6%のR@1の劣化のコストで100倍以上の係数でさらに計算時間を短縮します。 いずれのアプローチでも,複数の選択したスニペットに基づいて応答を生成するために検索拡張生成を使い,その手法を用いてトレーニング済みの埋め込みを微調整する方法を示す。

関連論文リスト

• Task-oriented Document-Grounded Dialog Systems by HLTPR@RWTH for DSTC9 and DSTC10 [40.05826687535019]
  本稿では,第9回,第10回ダイアログシステム技術チャレンジにおけるダイアログタスクへのコントリビューションについて要約する。 両方のイテレーションにおいて、タスクは3つのサブタスクから構成される: 第一に、現在のターンが知識検索であるかどうかを検知し、第二に関連する知識文書を選択し、第三に、選択されたドキュメントに基づいて応答を生成する。
  論文  参考訳（メタデータ） (2023-04-14T12:46:29Z)
• Coarse-to-Fine Knowledge Selection for Document Grounded Dialogs [11.63334863772068]
  マルチドキュメント基盤対話システム(DGDS)は,文書の集合から支援された知識を見出すことで,ユーザの要求に答える。 本稿では,粒度の粗い知識検索と粒度の細かい知識抽出の両方を統一されたフレームワークで最適化することを目的としたRe3Gを提案する。
  論文  参考訳（メタデータ） (2023-02-23T08:28:29Z)
• Recitation-Augmented Language Models [85.30591349383849]
  知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。 具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-04T00:49:20Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)
• KETOD: Knowledge-Enriched Task-Oriented Dialogue [77.59814785157877]
  対話システム研究における既存の研究は、主にタスク指向の対話とチャットを独立したドメインとして扱う。 本研究では,タスク指向対話と知識ベースチップチャットを一つのモデルに効果的に統合する方法について検討する。
  論文  参考訳（メタデータ） (2022-05-11T16:01:03Z)
• Adapting Document-Grounded Dialog Systems to Spoken Conversations using Data Augmentation and a Noisy Channel Model [46.93744191416991]
  第10回ダイアログ・システム・テクノロジー・チャレンジ(DSTC10)第2章の報告を要約する。 このタスクは3つのサブタスクから構成される: ターンが知識を求めるかどうかを検知し、関連する知識文書を選択し、最後に接地された応答を生成する。 ベストシステムは,課題の人的評価において,第1位,第3位を達成できた。
  論文  参考訳（メタデータ） (2021-12-16T12:51:52Z)
• Variational Learning for Unsupervised Knowledge Grounded Dialogs [6.761874595503588]
  知識基底ダイアログの最近の手法は,外部文書からの情報を取り入れて応答を生成する。 我々は上記の手法に対する変分的アプローチを開発し、代わりにエビデンスローバウンド(ELBO)を最大化する。 我々の知識を最大限に活用するために、我々は、オープンスケールの教師なし知識ベースダイアログシステムに変分訓練を適用した最初の人物である。
  論文  参考訳（メタデータ） (2021-11-23T13:41:03Z)
• Learning to Retrieve Entity-Aware Knowledge and Generate Responses with Copy Mechanism for Task-Oriented Dialogue Systems [43.57597820119909]
  第9回対話システム技術チャレンジ(DSTC 9)のトラック1として非構造化知識アクセスを用いたタスク指向対話型モデリング この課題は,(1)知識探索ターン検出,(2)知識選択,(3)知識接地応答生成の3つのサブタスクに分けることができる。 我々は、異なるサブタスクのベースエンコーダとして、事前訓練された言語モデルELECTRAとRoBERTaを使用します。
  論文  参考訳（メタデータ） (2020-12-22T11:36:37Z)
• Tradeoffs in Sentence Selection Techniques for Open-Domain Question Answering [54.541952928070344]
  文選択のためのモデルの2つのグループについて述べる。QAベースのアプローチは、解答候補を特定するための完全なQAシステムを実行し、検索ベースのモデルは、各質問に特に関連する各節の一部を見つける。 非常に軽量なQAモデルは、このタスクではうまく機能するが、検索ベースモデルは高速である。
  論文  参考訳（メタデータ） (2020-09-18T23:39:15Z)
• SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine Teaching [81.45928589522032]
  トランスフォーマーに基づく自動回帰言語モデルを用いて,モジュール型タスク指向対話システムをパラメータ化する。 タスクグラウンド応答生成モデルである異種ダイアログコーパスの事前学習を行う。 実験により、SOLOISTは、よく研究されたタスク指向のダイアログベンチマーク上で、新しい最先端のダイアログを生成する。
  論文  参考訳（メタデータ） (2020-05-11T17:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。