論文の概要: Improving AMR Parsing with Sequence-to-Sequence Pre-training

• arxiv url: http://arxiv.org/abs/2010.01771v1
• Date: Mon, 5 Oct 2020 04:32:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 21:22:36.496554
• Title: Improving AMR Parsing with Sequence-to-Sequence Pre-training
• Title（参考訳）: sequence-to-sequence pre-trainingによるamr解析の改善
• Authors: Dongqin Xu, Junhui Li, Muhua Zhu, Min Zhang, Guodong Zhou
• Abstract要約: 本稿では,Sequence-to-Sequence (seq2seq) AMR解析に焦点を当てる。 単体および関節の両方で事前学習モデルを構築するために,Seq2seq事前学習手法を提案する。 実験の結果,シングルモデルとジョイントモデルの両方で性能が有意に向上した。
• 参考スコア（独自算出の注目度）: 39.33133978535497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the literature, the research on abstract meaning representation (AMR) parsing is much restricted by the size of human-curated dataset which is critical to build an AMR parser with good performance. To alleviate such data size restriction, pre-trained models have been drawing more and more attention in AMR parsing. However, previous pre-trained models, like BERT, are implemented for general purpose which may not work as expected for the specific task of AMR parsing. In this paper, we focus on sequence-to-sequence (seq2seq) AMR parsing and propose a seq2seq pre-training approach to build pre-trained models in both single and joint way on three relevant tasks, i.e., machine translation, syntactic parsing, and AMR parsing itself. Moreover, we extend the vanilla fine-tuning method to a multi-task learning fine-tuning method that optimizes for the performance of AMR parsing while endeavors to preserve the response of pre-trained models. Extensive experimental results on two English benchmark datasets show that both the single and joint pre-trained models significantly improve the performance (e.g., from 71.5 to 80.2 on AMR 2.0), which reaches the state of the art. The result is very encouraging since we achieve this with seq2seq models rather than complex models. We make our code and model available at https://github.com/xdqkid/S2S-AMR-Parser.
• Abstract（参考訳）: 文献では、抽象的意味表現(AMR)解析の研究は、優れた性能を持つAMR解析器を構築するのに欠かせない人為的なデータセットのサイズによって非常に制限されている。 このようなデータサイズ制限を軽減するため、事前訓練されたモデルはAMR解析においてますます注目を集めている。 しかし、BERTのような以前の事前学習モデルは一般的な目的のために実装されており、AMR解析の特定のタスクでは期待通りには機能しない。 本稿では,Sequence-to-sequence (seq2seq) AMR解析に焦点をあて,機械翻訳,構文解析,AMR解析という3つのタスクに対して,単一および共同で事前学習されたモデルを構築するためのセク2seq事前学習手法を提案する。 さらに,バニラファインチューニング法をマルチタスク学習ファインチューニング法に拡張し,AMR解析の性能を最適化し,事前訓練したモデルの応答を維持する。 2つのベンチマークデータセットの広範囲な実験結果から、シングルモデルとジョイント事前学習モデルの両方がパフォーマンスを著しく向上している(例えば、amr 2.0の71.5から80.2まで)。 複雑なモデルではなく、seq2seqモデルでこれを達成するので、結果は非常に有益です。 コードとモデルはhttps://github.com/xdqkid/s2s-amr-parserで利用可能です。

関連論文リスト

• AMR Parsing with Instruction Fine-tuned Pre-trained Language Models [21.767812442354387]
  そこで本稿では,FLAN-T5 命令を微調整した言語モデルを用いて AMR 解析を行う。 AMR2.0,AMR3.0,BioAMRなどの各種AMR解析タスクに関する実験により,FLAN-T5微調整モデルが従来の最先端モデルより優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-04-24T17:12:17Z)
• Uni-QSAR: an Auto-ML Tool for Molecular Property Prediction [15.312021665242154]
  分子特性予測タスクのための強力なオートMLツールUni-QSARを提案する。 Uni-QSARは、1Dシーケンシャルトークンの分子表現学習(MRL)、2Dトポロジーグラフと3Dコンバータを事前学習モデルと組み合わせて、大規模未ラベルデータからのリッチ表現を活用する。
  論文  参考訳（メタデータ） (2023-04-24T16:29:08Z)
• Generating Query Focused Summaries without Fine-tuning the Transformer-based Pre-trained Models [0.6124773188525718]
  新しいデータセットごとに自然言語処理(NLP)モデルを微調整するには、炭素フットプリントの増加とコストの増大に伴う高い計算時間が必要である。 本稿では,MMR(Marginal Maximum Relevance)に基づくアプローチが,事前学習に使用しなかった新しいデータセットから直接,クエリ中心の要約を得る上で有効かどうかを検討する。 実験結果から示すように,MMRに基づく手法では,最も関連性の高い文を要約としてランク付けし,個々の事前学習モデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-03-10T22:40:15Z)
• From Cloze to Comprehension: Retrofitting Pre-trained Masked Language Model to Pre-trained Machine Reader [130.45769668885487]
  Pre-trained Machine Reader (PMR) は、ラベル付きデータを取得することなく、MLMを事前学習機械読解(MRC)モデルに適合させる新しい手法である。 提案したPMRを構築するために,多量の汎用および高品質なMRCスタイルのトレーニングデータを構築した。 PMRは、MRCの定式化における様々な抽出および分類タスクに対処するための統一モデルとして機能する可能性がある。
  論文  参考訳（メタデータ） (2022-12-09T10:21:56Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• An EM Approach to Non-autoregressive Conditional Sequence Generation [49.11858479436565]
  自己回帰(AR)モデルは条件付きシーケンス生成において支配的なアプローチである。 非自己回帰(NAR)モデルは、最近、すべての出力トークンを並列に生成することでレイテンシを低減するために提案されている。 本稿では,ARモデルとNARモデルの両方を統合期待最大化フレームワークで協調的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T20:58:57Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)
• GPT-too: A language-model-first approach for AMR-to-text generation [22.65728041544785]
  本稿では,事前学習型言語モデルとサイクル整合性に基づく再描画を併用したアプローチを提案する。 アプローチの単純さにもかかわらず、実験結果は、これらのモデルが過去のすべての手法より優れていることを示している。
  論文  参考訳（メタデータ） (2020-05-18T22:50:26Z)
• AMR Parsing via Graph-Sequence Iterative Inference [62.85003739964878]
  本稿では,AMR解析を入力シーケンスとインクリメンタルに構築されたグラフ上での2つの決定の連続として扱うエンド・ツー・エンドのモデルを提案する。 これら2つの質問に対する回答は相互因果関係であることを示す。 我々は、両方の視点でより良い回答を得るのに役立つ反復推論に基づくモデルを設計し、解析精度を大幅に改善する。
  論文  参考訳（メタデータ） (2020-04-12T09:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。