論文の概要: KGR^4: Retrieval, Retrospect, Refine and Rethink for Commonsense Generation

• arxiv url: http://arxiv.org/abs/2112.08266v1
• Date: Wed, 15 Dec 2021 17:00:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-16 14:46:34.073788
• Title: KGR^4: Retrieval, Retrospect, Refine and Rethink for Commonsense Generation
• Title（参考訳）: KGR^4:Commonsense生成のための検索,レトロスペクティブ,リファイン,再考
• Authors: Xin Liu, Dayiheng Liu, Baosong Yang, Haibo Zhang, Junwei Ding, Wenqing Yao, Weihua Luo, Haiying Zhang, Jinsong Su
• Abstract要約: 我々は、KGR4と呼ばれる知識強化コモンセンス生成フレームワークを提案し、その4つの段階:検索、振り返り、再定義、再考を行う。 KGR4は公式のリーダーボードで33.56のSPICEポイントを獲得し、2.49のSPICEポイントを達成している。
• 参考スコア（独自算出の注目度）: 36.78998964614422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative commonsense reasoning requires machines to generate sentences describing an everyday scenario given several concepts, which has attracted much attention recently. However, existing models cannot perform as well as humans, since sentences they produce are often implausible and grammatically incorrect. In this paper, inspired by the process of humans creating sentences, we propose a novel Knowledge-enhanced Commonsense Generation framework, termed KGR^4, consisting of four stages: Retrieval, Retrospect, Refine, Rethink. Under this framework, we first perform retrieval to search for relevant sentences from external corpus as the prototypes. Then, we train the generator that either edits or copies these prototypes to generate candidate sentences, of which potential errors will be fixed by an autoencoder-based refiner. Finally, we select the output sentence from candidate sentences produced by generators with different hyper-parameters. Experimental results and in-depth analysis on the CommonGen benchmark strongly demonstrate the effectiveness of our framework. Particularly, KGR^4 obtains 33.56 SPICE points in the official leaderboard, outperforming the previously-reported best result by 2.49 SPICE points and achieving state-of-the-art performance.
• Abstract（参考訳）: 生成的コモンセンス推論は、いくつかの概念から日常的なシナリオを記述する文を生成する必要があるが、近年注目されている。 しかし、既存のモデルは、生成する文がしばしば意味が無く、文法的に不正確なため、人間と同様に機能することができない。 本稿では,人間が文を作る過程に触発されて,検索,振り返り,精錬,再考の4段階からなる,新しい知識エンハンスド・コモンセンス生成フレームワーク「kgr^4」を提案する。 本手法では,まず,外部コーパスから関連する文を検索する検索を行う。 そして、これらのプロトタイプを編集またはコピーして候補文を生成するジェネレータをトレーニングし、その中の潜在的なエラーをオートエンコーダベースのリファインダで修正します。 最後に、異なるハイパーパラメータを持つジェネレータによって生成される候補文から出力文を選択する。 CommonGenベンチマークの実験結果と詳細な分析は、我々のフレームワークの有効性を強く実証している。 特に、KGR^4は公式のリーダーボードで33.56のSPICEポイントを獲得し、2.49のSPICEポイントを達成し、最先端のパフォーマンスを達成した。

関連論文リスト

• BOOST: Harnessing Black-Box Control to Boost Commonsense in LMs' Generation [60.77990074569754]
  本稿では,凍結した事前学習言語モデルを,より汎用的な生成に向けて操る,計算効率のよいフレームワークを提案する。 具体的には、まず、文に常識的スコアを割り当てる参照なし評価器を構築する。 次に、スコアラをコモンセンス知識のオラクルとして使用し、NADOと呼ばれる制御可能な生成法を拡張して補助ヘッドを訓練する。
  論文  参考訳（メタデータ） (2023-10-25T23:32:12Z)
• MGR: Multi-generator Based Rationalization [14.745836934156427]
  合理化は、ジェネレータと予測器を使用して、自己説明型NLPモデルを構築することである。 本稿では,この2つの問題を同時に解くために,MGRというシンプルで効果的な手法を提案する。 MGRは最先端手法と比較してF1スコアを最大20.9%改善することを示した。
  論文  参考訳（メタデータ） (2023-05-08T06:36:46Z)
• Joint Generator-Ranker Learning for Natural Language Generation [99.16268050116717]
  JGRは、ジェネレータとローダを単一のフレームワークに統合する、新しいジョイントトレーニングアルゴリズムである。 ジェネレータとランク装置を反復的に更新することにより、JGRは学習を効果的に調和させ、共同で品質を高めることができる。
  論文  参考訳（メタデータ） (2022-06-28T12:58:30Z)
• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)
• Towards Document-Level Paraphrase Generation with Sentence Rewriting and Reordering [88.08581016329398]
  文書レベルのパラフレーズ生成のためのCoRPG(Coherence Relation Guided Paraphrase Generation)を提案する。 グラフGRUを用いて、コヒーレンス関係グラフを符号化し、各文のコヒーレンス対応表現を得る。 我々のモデルは、より多様性とセマンティックな保存を伴う文書パラフレーズを生成することができる。
  論文  参考訳（メタデータ） (2021-09-15T05:53:40Z)
• Show Me How To Revise: Improving Lexically Constrained Sentence Generation with XLNet [27.567493727582736]
  本稿では,制約文生成のための2段階の手法"Predict and Revise"を提案する。 予測段階において、我々は分類器を利用して、候補文の学習前を計算した。 修正作業では, MCMCサンプリングを用いて, 学習前から抽出したサンプル位置でサンプル動作を行うことにより, 候補文の修正を行った。 実験結果から,提案手法は文の流布度や多様性の観点から,従来よりもはるかに優れた性能を示した。
  論文  参考訳（メタデータ） (2021-09-13T09:21:07Z)
• Retrieval Enhanced Model for Commonsense Generation [27.808363395849536]
  本稿では,コモンセンス生成のための事前学習と微調整の両方を強化するために,検索手法を用いた新しいフレームワークを提案する。 我々は、概念マッチングによりプロトタイプ文候補を検索し、補助入力として使用する。 提案手法は, 大規模CommonGenベンチマークを用いて, 最新の成果を実証する。
  論文  参考訳（メタデータ） (2021-05-24T09:49:17Z)
• Commonsense Evidence Generation and Injection in Reading Comprehension [57.31927095547153]
  本稿では,CEGI と命名された理解を読み取るためのコモンセンス・エビデンス・ジェネレーション・インジェクション・フレームワークを提案する。 この枠組みは、2種類の補助的コモンセンス証拠を包括的読解に注入し、機械に合理的思考能力を持たせる。 CosmosQAデータセットの実験では、提案されたCEGIモデルが現在の最先端アプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-11T16:31:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。