論文の概要: Structure-aware Fine-tuning of Sequence-to-sequence Transformers for Transition-based AMR Parsing

• arxiv url: http://arxiv.org/abs/2110.15534v1
• Date: Fri, 29 Oct 2021 04:36:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 14:14:22.888647
• Title: Structure-aware Fine-tuning of Sequence-to-sequence Transformers for Transition-based AMR Parsing
• Title（参考訳）: 遷移型AMR解析のためのシーケンス・ツー・シーケンス・トランスの微調整
• Authors: Jiawei Zhou, Tahira Naseem, Ram\'on Fernandez Astudillo, Young-Suk Lee, Radu Florian, Salim Roukos
• Abstract要約: 我々は、一般的な事前訓練されたシーケンス・ツー・シーケンス言語モデルと構造対応のトランジション・ベース・アプローチの統合について検討する。 構造化された微調整のための事前学習言語モデルをよりよく活用するために,単純化されたトランジションセットを提案する。 提案した解析アーキテクチャは,従来の遷移に基づくアプローチの望ましい特性を維持しつつ,グラフの再分類を必要とせず,AMR 2.0の最先端技術に到達していることを示す。
• 参考スコア（独自算出の注目度）: 20.67024416678313
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Predicting linearized Abstract Meaning Representation (AMR) graphs using pre-trained sequence-to-sequence Transformer models has recently led to large improvements on AMR parsing benchmarks. These parsers are simple and avoid explicit modeling of structure but lack desirable properties such as graph well-formedness guarantees or built-in graph-sentence alignments. In this work we explore the integration of general pre-trained sequence-to-sequence language models and a structure-aware transition-based approach. We depart from a pointer-based transition system and propose a simplified transition set, designed to better exploit pre-trained language models for structured fine-tuning. We also explore modeling the parser state within the pre-trained encoder-decoder architecture and different vocabulary strategies for the same purpose. We provide a detailed comparison with recent progress in AMR parsing and show that the proposed parser retains the desirable properties of previous transition-based approaches, while being simpler and reaching the new parsing state of the art for AMR 2.0, without the need for graph re-categorization.
• Abstract（参考訳）: 事前学習されたシーケンス-シーケンス変換モデルを用いた線形化抽象意味表現(amr)グラフの予測は、最近amr解析ベンチマークを大幅に改善した。 これらのパーサーは単純であり、構造を明示的にモデル化するのを避けるが、グラフ well-formedness guarantees や組み込みのgraph-sentenceアライメントのような望ましい性質を欠いている。 本研究では,事前学習されたシーケンス・ツー・シーケンス言語モデルと構造認識型トランジッション・ベース・アプローチの統合について検討する。 我々は、ポインタベースのトランジションシステムから離れ、構造化微調整のための事前学習言語モデルをよりよく活用するために、単純化されたトランジションセットを提案する。 また,事前学習したエンコーダデコーダアーキテクチャのパーサ状態と,同じ目的で異なる語彙戦略のモデル化についても検討する。 本稿では,AMR解析の最近の進歩を詳細に比較し,グラフ再分類を必要とせず,従来の遷移解析手法の望ましい特性を維持しつつ,AMR 2.0技術の新しい解析状態に到達したことを示す。

関連論文リスト

• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Graph-Induced Syntactic-Semantic Spaces in Transformer-Based Variational AutoEncoders [5.037881619912574]
  本稿では,トランスフォーマーを用いたVAEにおける構造構文注入のための潜時空間分離法について検討する。 具体的には、グラフベースおよびシーケンシャルモデルの統合により、符号化段階で構文構造をどのように活用するかを検討する。 我々の経験的評価は、自然言語文と数学的表現に基づいて行われ、提案したエンドツーエンドのVAEアーキテクチャにより、潜在空間の全体構造がより良くなることを示している。
  論文  参考訳（メタデータ） (2023-11-14T22:47:23Z)
• AMR Parsing with Causal Hierarchical Attention and Pointers [54.382865897298046]
  因果的階層的注意とポインタ機構を備えた新しいAMR解析と新しいモデルCHAPを導入する。 実験の結果, 5つのベンチマークのうち4つのベースラインモデルでは, 追加データがない場合に, ベースラインモデルよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-10-18T13:44:26Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Structure-Aware Transformer for Graph Representation Learning [7.4124458942877105]
  本研究では,トランスフォーマーによって生成されるノード表現と位置符号化が必ずしも類似点を捉えるとは限らないことを示す。 本稿では,新しい自己認識機構上に構築された,単純で柔軟なグラフ変換器のクラスであるStructure-Aware Transformerを提案する。 我々のフレームワークは,既存のGNNを利用してサブグラフ表現を抽出し,ベースとなるGNNモデルに対する性能を体系的に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-07T09:53:39Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• Syntax-Aware Graph-to-Graph Transformer for Semantic Role Labelling [18.028902306143102]
  本稿では,グラフ関係を埋め込みとして入力する新しい手法を用いて,構文構造を符号化する構文対応グラフ変換器(SynG2G-Tr)モデルを提案する。 このアプローチは、構文構造に従う注意パターンに対してソフトなバイアスを与えるが、モデルがこの情報を使って代替パターンを学ぶことを可能にする。 本研究では,スパンベースと依存性ベースの両方のSRLデータセット上でモデルを評価し,ドメイン内設定とドメイン外設定の両方において,従来の代替手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-15T18:14:18Z)
• Transition-based Parsing with Stack-Transformers [32.029528327212795]
  リカレントニューラルネットワークは、グローバルステートをモデル化することで、トランジッションベースのシステムの性能を大幅に改善した。 本研究では,トランスフォーマーのクロスアテンション機構の修正により,依存性と意味の両面において性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2020-10-20T23:20:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。