論文の概要: Retrieval Enhanced Model for Commonsense Generation

• arxiv url: http://arxiv.org/abs/2105.11174v1
• Date: Mon, 24 May 2021 09:49:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 15:31:07.638132
• Title: Retrieval Enhanced Model for Commonsense Generation
• Title（参考訳）: コモンセンス生成のための検索強化モデル
• Authors: Han Wang, Yang Liu, Chenguang Zhu, Linjun Shou, Ming Gong, Yichong Xu, Michael Zeng
• Abstract要約: 本稿では,コモンセンス生成のための事前学習と微調整の両方を強化するために,検索手法を用いた新しいフレームワークを提案する。 我々は、概念マッチングによりプロトタイプ文候補を検索し、補助入力として使用する。 提案手法は, 大規模CommonGenベンチマークを用いて, 最新の成果を実証する。
• 参考スコア（独自算出の注目度）: 27.808363395849536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Commonsense generation is a challenging task of generating a plausible sentence describing an everyday scenario using provided concepts. Its requirement of reasoning over commonsense knowledge and compositional generalization ability even puzzles strong pre-trained language generation models. We propose a novel framework using retrieval methods to enhance both the pre-training and fine-tuning for commonsense generation. We retrieve prototype sentence candidates by concept matching and use them as auxiliary input. For fine-tuning, we further boost its performance with a trainable sentence retriever. We demonstrate experimentally on the large-scale CommonGen benchmark that our approach achieves new state-of-the-art results.
• Abstract（参考訳）: コモンセンス生成は、提供された概念を用いて日常的なシナリオを記述するもっともらしい文を生成するための課題である。 常識知識と構成一般化能力に対する推論の要件は、強力な事前学習言語生成モデルさえもパズルである。 本稿では,コモンセンス生成のための事前学習と微調整の両方を強化するために,検索手法を用いた新しいフレームワークを提案する。 プロトタイプ文候補を概念マッチングで検索し,補助入力として利用する。 微調整のために、訓練可能な文検索器でさらにパフォーマンスを高めます。 提案手法は, 大規模CommonGenベンチマークを用いて, 最新の成果を実証する。

関連論文リスト

• Vector-Quantized Prompt Learning for Paraphrase Generation [18.40940464497253]
  本稿では、事前学習されたモデルにインスタンス依存のプロンプトを組み込むことにより、多種多様な高品質なパラフレーズを生成することを提案する。 大規模な実験により,提案手法は3つのベンチマークデータセットに対して新たな最先端結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-11-25T07:13:06Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy [164.83371924650294]
  検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。 モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。 Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
  論文  参考訳（メタデータ） (2023-05-24T16:17:36Z)
• Retrieval Augmentation for Commonsense Reasoning: A Unified Approach [64.63071051375289]
  検索強化コモンセンス推論(RACo)の統一的枠組みを提案する。 提案するRACoは,他の知識強化手法よりも優れる。
  論文  参考訳（メタデータ） (2022-10-23T23:49:08Z)
• Generative or Contrastive? Phrase Reconstruction for Better Sentence Representation Learning [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分強力な文表現をもたらし、コントラスト学習と同等の文文類似性タスクで性能を達成することができる。
  論文  参考訳（メタデータ） (2022-04-20T10:00:46Z)
• Augmenting BERT-style Models with Predictive Coding to Improve Discourse-level Representations [20.855686009404703]
  本稿では,予測符号化理論のアイデアを用いて,議論レベルの表現を学習するためのメカニズムによりBERTスタイルの言語モデルを拡張することを提案する。 提案手法は,ネットワークの中間層で動作する明示的なトップダウン接続を用いて,将来の文を予測できる。
  論文  参考訳（メタデータ） (2021-09-10T00:45:28Z)
• Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection [62.071938098215085]
  我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。 生成したテキストの意味的正しさを高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-19T23:23:40Z)
• An Enhanced Knowledge Injection Model for Commonsense Generation [68.12943221053025]
  Commonsenseジェネレーションは、提供された概念のセットに基づいて、妥当な日常シナリオ記述を生成することを目的としている。 我々は、シナリオの理解を支援するために、外部知識からプロトタイプを検索し、より良い記述生成を行う。 我々はCommonGenベンチマークで実験を行い、実験結果から、我々の手法が全てのメトリクスの性能を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2020-12-01T09:51:23Z)
• EnsembleGAN: Adversarial Learning for Retrieval-Generation Ensemble Model on Short-Text Conversation [37.80290058812499]
  アンサンブルGANは、オープンドメイン会話シナリオにおいて、検索世代アンサンブルモデルを強化するための逆学習フレームワークである。 言語モデルのようなジェネレータ、ランカジェネレータ、ランカディミネーターで構成されている。
  論文  参考訳（メタデータ） (2020-04-30T05:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。