Fugu-MT 論文翻訳(概要): ReGen: Reinforcement Learning for Text and Knowledge Base Generation using Pretrained Language Models

論文の概要: ReGen: Reinforcement Learning for Text and Knowledge Base Generation using Pretrained Language Models

arxiv url: http://arxiv.org/abs/2108.12472v1
Date: Fri, 27 Aug 2021 19:37:12 GMT
ステータス: 処理完了
システム内更新日: 2021-08-31 14:59:08.379567
Title: ReGen: Reinforcement Learning for Text and Knowledge Base Generation using Pretrained Language Models
Title（参考訳）: ReGen:事前学習言語モデルを用いたテキストと知識ベース生成のための強化学習
Authors: Pierre L. Dognin, Inkit Padhi, Igor Melnyk, Payel Das
Abstract要約: 本稿では,Reinforcement Learning (RL) を利用した双方向のテキストとグラフを生成するReGenを提案する。本システムは,テキスト・ツー・グラフ・ツー・テキスト生成タスクにおける WebNLG 2020+ Challenge の公開結果を大幅に改善することで,WebNLG+ 2020 の最先端結果を提供する。
参考スコア（独自算出の注目度）: 25.529100721684305
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Automatic construction of relevant Knowledge Bases (KBs) from text, and generation of semantically meaningful text from KBs are both long-standing goals in Machine Learning. In this paper, we present ReGen, a bidirectional generation of text and graph leveraging Reinforcement Learning (RL) to improve performance. Graph linearization enables us to re-frame both tasks as a sequence to sequence generation problem regardless of the generative direction, which in turn allows the use of Reinforcement Learning for sequence training where the model itself is employed as its own critic leading to Self-Critical Sequence Training (SCST). We present an extensive investigation demonstrating that the use of RL via SCST benefits graph and text generation on WebNLG+ 2020 and TekGen datasets. Our system provides state-of-the-art results on WebNLG+ 2020 by significantly improving upon published results from the WebNLG 2020+ Challenge for both text-to-graph and graph-to-text generation tasks.
Abstract（参考訳）: テキストから関連する知識ベース(kbs)を自動的に構築し、kbから意味的に意味のあるテキストを生成することは、機械学習の長年の目標である。本稿では,強化学習(Reinforcement Learning, RL)を利用した双方向のテキストとグラフを生成するReGenを提案する。グラフリニアイゼーションによって,生成方向に関わらず,シーケンス生成問題のシーケンスとして両方のタスクを再構成することが可能となり,モデル自体が自己批判的シーケンストレーニング(scst)につながる自身の批評家として採用されるシーケンストレーニングへの強化学習が利用可能となる。我々は,WebNLG+ 2020 および TekGen データセット上で,SCST による RL の利用がグラフおよびテキスト生成に有効であることを示す広範な調査を行った。本システムは,テキスト・ツー・グラフ・ツー・テキスト生成タスクにおける WebNLG 2020+ Challenge の公開結果を大幅に改善することで,WebNLG+ 2020 の最先端結果を提供する。

関連論文リスト

Enhancing Text Generation in Joint NLG/NLU Learning Through Curriculum Learning, Semi-Supervised Training, and Advanced Optimization Techniques [0.0]
本研究では,NLG(Natural Language Generation)とNLU(Natural Language Understanding)の併用によってテキスト生成を改善する手法を開発した。データは、クリーニング、トークン化、ストーミング、ストップワード削除など、注釈付きデータセットの収集と前処理によって作成される。トランスフォーマーベースのエンコーダとデコーダ、長距離依存関係のキャプチャ、ソースターゲットシーケンスモデリングの改善。政策勾配手法による強化学習、半教師付きトレーニング、注意機構の改善、および異なる近似を用いて、モデルを微調整し、複雑な言語タスクを効果的に処理する。
論文参考訳（メタデータ） (2024-10-17T12:43:49Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。提案手法は、確立されたTAGデータセットの最先端結果を実現する。本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文参考訳（メタデータ） (2023-05-31T03:18:03Z)
Knowledge Graph Generation From Text [18.989264255589806]
そこで本研究では,テキスト入力から新たなエンド・ツー・エンドの知識グラフ(KG)生成システムを提案する。グラフノードは、まず事前訓練された言語モデルを用いて生成され、次に単純なエッジ構築ヘッドが続く。我々は,最新のWebNLG 2020 Challengeデータセットを用いて,テキストからRDF生成タスクにおける最先端のパフォーマンスとを一致させたモデルの評価を行った。
論文参考訳（メタデータ） (2022-11-18T21:27:13Z)
Self-supervised Graph Masking Pre-training for Graph-to-Text Generation [5.108327983929205]
大規模事前訓練言語モデル(PLM)は、グラフからテキストへ(G2T)を生成する。本稿では、教師信号を必要としないグラフマスキング事前学習戦略と、基礎となる事前学習エンコーダ・デコーダモデルのアーキテクチャの調整を提案する。提案手法は,WebNLG+ 2020およびEventNarrative G2T生成データセット上で,最先端の新たな結果を実現する。
論文参考訳（メタデータ） (2022-10-19T14:44:56Z)
ERNIE-ViLG: Unified Generative Pre-training for Bidirectional Vision-Language Generation [22.47279425592133]
ERNIE-ViLGは,双方向画像テキスト生成のための統合型事前学習フレームワークである。テキスト・ツー・イメージ生成プロセスにおいて,視覚的シーケンス生成器と画像再構成器を協調的に学習するエンドツーエンド・トレーニング手法を提案する。我々は,1億4500万(中国語)の画像テキストペアからなる大規模データセット上で,10ビリオンパラメータERNIE-ViLGモデルをトレーニングする。
論文参考訳（メタデータ） (2021-12-31T03:53:33Z)
Stage-wise Fine-tuning for Graph-to-Text Generation [25.379346921398326]
グラフからテキストへの生成は、構造化グラフエンコーダよりも優れたパフォーマンスを達成するための事前学習言語モデル(plm)の恩恵を受けている。本研究では, ウィキペディアで最初に微調整を行い, グラフ・テキスト生成に適応する構造化グラフ・トゥ・テキストモデルを提案する。
論文参考訳（メタデータ） (2021-05-17T17:15:29Z)
Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
局所グラフ構造を符号化する線形化モデルの能力を検討する。本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
論文参考訳（メタデータ） (2020-12-31T18:17:57Z)
KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
論文参考訳（メタデータ） (2020-10-05T19:59:05Z)
Unsupervised Text Generation by Learning from Search [86.51619839836331]
TGLSは、教師なしテキスト生成のための新しいフレームワークである。実世界の自然言語生成タスクであるパラフレーズ生成とテキストの形式化におけるTGLSの有効性を示す。
論文参考訳（メタデータ） (2020-07-09T04:34:48Z)
POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。