論文の概要: Teach Me What to Say and I Will Learn What to Pick: Unsupervised Knowledge Selection Through Response Generation with Pretrained Generative Models

• arxiv url: http://arxiv.org/abs/2110.02067v1
• Date: Tue, 5 Oct 2021 14:12:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-06 18:48:56.934401
• Title: Teach Me What to Say and I Will Learn What to Pick: Unsupervised Knowledge Selection Through Response Generation with Pretrained Generative Models
• Title（参考訳）: 言葉を教えて、何を選ぶかを学ぶ:事前学習された生成モデルによる応答生成による教師なし知識選択
• Authors: Ehsan Lotfi, Maxime De Bruyn, Jeska Buhmann, Walter Daelemans
• Abstract要約: 事前学習した生成モデルの教師なし選択能力について検討する。 エンコーダとデコーダの間にスコア・アンド・アグリゲートモジュールを追加することで,適切な知識を選択することができることを示す。
• 参考スコア（独自算出の注目度）: 9.625301186732598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge Grounded Conversation Models (KGCM) are usually based on a selection/retrieval module and a generation module, trained separately or simultaneously, with or without having access to a gold knowledge option. With the introduction of large pre-trained generative models, the selection and generation part have become more and more entangled, shifting the focus towards enhancing knowledge incorporation (from multiple sources) instead of trying to pick the best knowledge option. These approaches however depend on knowledge labels and/or a separate dense retriever for their best performance. In this work we study the unsupervised selection abilities of pre-trained generative models (e.g. BART) and show that by adding a score-and-aggregate module between encoder and decoder, they are capable of learning to pick the proper knowledge through minimising the language modelling loss (i.e. without having access to knowledge labels). Trained as such, our model - K-Mine - shows competitive selection and generation performance against models that benefit from knowledge labels and/or separate dense retriever.
• Abstract（参考訳）: 知識基盤会話モデル (KGCM) は通常、選択/検索モジュールと生成モジュールに基づいており、金の知識オプションにアクセスできるかどうかに関わらず、個別または同時に訓練される。 大規模な事前学習型生成モデルの導入により、選択と生成部はますます絡み合っており、最高の知識を選択するのではなく、(複数の情報源から)知識の定着に焦点を移している。 しかしながら、これらのアプローチは、最高のパフォーマンスのために知識ラベルと/または別々に密集したレトリバーに依存する。 本研究では,事前学習した生成モデル(例えばBART)の教師なし選択能力について検討し,エンコーダとデコーダの間にスコア・アンド・アグリゲートモジュールを追加することで,言語モデリング損失を最小化することで,適切な知識を選択することができることを示す。 このように訓練されたモデルであるK-Mineは、知識ラベルやより密集した検索者から恩恵を受けるモデルに対して、競争力のある選択と生成性能を示す。

関連論文リスト

• Well Begun is Half Done: Generator-agnostic Knowledge Pre-Selection for Knowledge-Grounded Dialogue [24.395322923436026]
  本研究は,事前知識を正確に選択できるだけでなく,学習,調整,解釈の負担を軽減できるという利点がある第3のアンダーサーサーサーサーサーサーサーサーサー研究に焦点をあてる。 本稿では,ジェネレータに依存しない知識選択手法であるGATEを提案する。
  論文  参考訳（メタデータ） (2023-10-11T17:00:29Z)
• Decouple knowledge from parameters for plug-and-play language modeling [77.5601135412186]
  差別化可能なプラグインメモリ(DPM)を備えた事前学習モデルPlugLMを導入する。 鍵となる直感は、編集可能でスケーラブルなキーバリューメモリで、知識ストレージをモデルパラメータから切り離すことである。 PlugLMは4つのドメインで平均3.95のF1改善を実現している。
  論文  参考訳（メタデータ） (2023-05-19T10:01:55Z)
• The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources in Natural Language Understanding Systems [87.3207729953778]
  我々は、データセット上で最先端のコア参照解決モデルを評価する。 いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。 それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
  論文  参考訳（メタデータ） (2022-12-15T23:26:54Z)
• Robust Preference Learning for Storytelling via Contrastive Reinforcement Learning [53.92465205531759]
  制御された自動ストーリ生成は、自然言語批判や嗜好から制約を満たす自然言語ストーリを生成することを目指している。 対照的なバイエンコーダモデルをトレーニングし、ストーリーを人間の批評と整合させ、汎用的な嗜好モデルを構築する。 我々はさらに、ストーリー生成の堅牢性を高めるために、プロンプトラーニング技術を用いて、対照的な報酬モデルを微調整する。
  論文  参考訳（メタデータ） (2022-10-14T13:21:33Z)
• Hub-Pathway: Transfer Learning from A Hub of Pre-trained Models [89.44031286278347]
  本稿では,モデルハブからの知識伝達を可能にするハブパスウェイフレームワークを提案する。 提案するフレームワークは、目的のタスク固有の損失でエンドツーエンドにトレーニングすることができる。 コンピュータビジョンおよび強化学習タスクの実験結果は、このフレームワークが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-06-08T08:00:12Z)
• Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization [20.14487209460865]
  自然質問をクローズスタイルの文に翻訳できる4つの翻訳手法について検討する。 提案手法は知識ベース改良モデルと相補的なデータセットであり,それらを組み合わせることで,最先端のゼロショット性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-01-01T07:12:49Z)
• Towards a Universal Continuous Knowledge Base [49.95342223987143]
  複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。 テキスト分類実験は有望な結果を示す。 我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
  論文  参考訳（メタデータ） (2020-12-25T12:27:44Z)
• Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue [51.513276162736844]
  この問題に対する最初のアプローチとして,逐次潜在変数モデルを提案する。 シーケンシャル・ナレッジ・トランスフォーマー (SKT) という名前のモデルは、知識よりも先行と後続の分布を追跡することができる。
  論文  参考訳（メタデータ） (2020-02-18T11:59:59Z)
• REALM: Retrieval-Augmented Language Model Pre-Training [37.3178586179607]
  言語モデルの事前学習を潜伏知識検索システムで強化し,ウィキペディアのような大規模コーパスから文書を検索し,出席できるようにする。 本研究では,このような知識検索を教師なしで事前学習する方法を初めて示す。 オープンドメイン質問回答(Open-QA)の課題を微調整し,検索型言語モデル事前学習(REALM)の有効性を実証する。
  論文  参考訳（メタデータ） (2020-02-10T18:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。