論文の概要: Knowledge Enhanced Fine-Tuning for Better Handling Unseen Entities in Dialogue Generation

• arxiv url: http://arxiv.org/abs/2109.05487v1
• Date: Sun, 12 Sep 2021 11:13:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-16 13:37:38.716958
• Title: Knowledge Enhanced Fine-Tuning for Better Handling Unseen Entities in Dialogue Generation
• Title（参考訳）: 対話生成における未知のエンティティの扱いを改善するための知識強化微調整
• Authors: Leyang Cui, Yu Wu, Shujie Liu, Yue Zhang
• Abstract要約: 1)マスキングされた単語を解釈し,その文脈からマスキングされたエンティティの意味を推測する,2)コンテキストに基づいてエンティティのハイパーネムを予測する,ハイパーネム生成という2つの補助的訓練目標を導入する。 2つの対話コーパスの実験結果から,本手法の有効性を,利用可能な知識と利用できない設定の両方で検証した。
• 参考スコア（独自算出の注目度）: 33.806361531386685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although pre-training models have achieved great success in dialogue generation, their performance drops dramatically when the input contains an entity that does not appear in pre-training and fine-tuning datasets (unseen entity). To address this issue, existing methods leverage an external knowledge base to generate appropriate responses. In real-world scenario, the entity may not be included by the knowledge base or suffer from the precision of knowledge retrieval. To deal with this problem, instead of introducing knowledge base as the input, we force the model to learn a better semantic representation by predicting the information in the knowledge base, only based on the input context. Specifically, with the help of a knowledge base, we introduce two auxiliary training objectives: 1) Interpret Masked Word, which conjectures the meaning of the masked entity given the context; 2) Hypernym Generation, which predicts the hypernym of the entity based on the context. Experiment results on two dialogue corpus verify the effectiveness of our methods under both knowledge available and unavailable settings.
• Abstract（参考訳）: 事前学習モデルは対話生成において大きな成功を収めているが、入力が事前学習や微調整データセット(未知のエンティティ)に現れないエンティティを含むと、そのパフォーマンスは劇的に低下する。 この問題に対処するため、既存の手法は外部知識ベースを利用して適切な応答を生成する。 現実のシナリオでは、エンティティは知識ベースに含まれたり、知識検索の正確さに悩まされることはない。 この問題を解決するため、知識ベースを入力として導入するのではなく、入力コンテキストのみに基づいて知識ベース内の情報を予測することで、モデルにより良い意味表現を学習させます。 具体的には,知識基盤の助けを借りて,補助訓練目標を2つ紹介する。 1) 文脈により仮面実体の意味を推測する仮面語を解釈する。 2)ハイパーニム生成(hypernym generation)は、コンテキストに基づいてエンティティのハイパーニムを予測する。 2つの対話コーパスにおける実験結果から,本手法の有効性を確認した。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding [9.2433070542025]
  大規模言語モデル(LLM)は、テキスト生成時に入力コンテキストを不適切に統合する傾向がある。 本稿では, 逆無関係なパスを負のサンプルとして, コントラストデコーディングを統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T20:38:41Z)
• Blending Reward Functions via Few Expert Demonstrations for Faithful and Accurate Knowledge-Grounded Dialogue Generation [22.38338205905379]
  我々は、新しい報酬関数を導入することで上記の課題を克服するために強化学習アルゴリズムを活用する。 我々の報奨関数は、精度測定値と忠実度測定値を組み合わせて、生成された応答のバランスの取れた品質判定を提供する。
  論文  参考訳（メタデータ） (2023-11-02T02:42:41Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Textual Explanations and Critiques in Recommendation Systems [8.406549970145846]
  論文は、このニーズに対処する2つの根本的な課題に焦点を当てています。 1つ目は、スケーラブルでデータ駆動的な説明生成である。 第2の課題は、説明を実行可能なものにすることだ。
  論文  参考訳（メタデータ） (2022-05-15T11:59:23Z)
• Towards a Flexible Embedding Learning Framework [15.604564543883122]
  本稿では,学習表現に組み込むことができる関係性の観点から柔軟な埋め込み学習フレームワークを提案する。 サンプリング機構は、入力と出力埋め込みによって捕捉された情報との直接接続を確立するために慎重に設計される。 実験の結果,提案するフレームワークは,関連エンティティ・リレーショナル・マトリクスのセットと合わせて,様々なデータマイニングタスクにおける既存の最先端アプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-23T08:00:56Z)
• Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge [62.46091695615262]
  我々は、機械読解の理解を改善するために、常識知識を抽出することを目指している。 構造化知識を文脈内に配置することで,関係を暗黙的に表現することを提案する。 我々は,教師の学習パラダイムを用いて,複数種類の文脈的知識を学生機械読取機に注入する。
  論文  参考訳（メタデータ） (2020-09-12T17:20:01Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• Low-Resource Knowledge-Grounded Dialogue Generation [74.09352261943913]
  我々は、限られた訓練例しか利用できないという自然な仮定のもと、知識基底による対話生成を考察する。 生成モデル全体から知識基底の対話に依存するパラメータを分離するために,不整合応答デコーダを考案する。 1/8のトレーニングデータだけで、我々のモデルは最先端のパフォーマンスを達成でき、ドメイン外の知識をうまく一般化できる。
  論文  参考訳（メタデータ） (2020-02-24T16:20:32Z)
• Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue [51.513276162736844]
  この問題に対する最初のアプローチとして,逐次潜在変数モデルを提案する。 シーケンシャル・ナレッジ・トランスフォーマー (SKT) という名前のモデルは、知識よりも先行と後続の分布を追跡することができる。
  論文  参考訳（メタデータ） (2020-02-18T11:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。