論文の概要: AMR Parsing with Action-Pointer Transformer

• arxiv url: http://arxiv.org/abs/2104.14674v1
• Date: Thu, 29 Apr 2021 22:01:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-03 13:46:23.728680
• Title: AMR Parsing with Action-Pointer Transformer
• Title（参考訳）: Action-Pointer Transformer を用いたAMR解析
• Authors: Jiawei Zhou, Tahira Naseem, Ram\'on Fernandez Astudillo, Radu Florian
• Abstract要約: 文に対するハードアテンテンションとターゲット側アクションポインタ機構を組み合わせたトランジションベースのシステムを提案する。 我々のアクションポインターアプローチは表現性を高め、最高の遷移ベースAMRに対して大きな利益を得ることを示す。
• 参考スコア（独自算出の注目度）: 18.382148821100152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Abstract Meaning Representation parsing is a sentence-to-graph prediction task where target nodes are not explicitly aligned to sentence tokens. However, since graph nodes are semantically based on one or more sentence tokens, implicit alignments can be derived. Transition-based parsers operate over the sentence from left to right, capturing this inductive bias via alignments at the cost of limited expressiveness. In this work, we propose a transition-based system that combines hard-attention over sentences with a target-side action pointer mechanism to decouple source tokens from node representations and address alignments. We model the transitions as well as the pointer mechanism through straightforward modifications within a single Transformer architecture. Parser state and graph structure information are efficiently encoded using attention heads. We show that our action-pointer approach leads to increased expressiveness and attains large gains (+1.6 points) against the best transition-based AMR parser in very similar conditions. While using no graph re-categorization, our single model yields the second best Smatch score on AMR 2.0 (81.8), which is further improved to 83.4 with silver data and ensemble decoding.
• Abstract（参考訳）: 抽象的意味表現解析(Abstract Meaning Representation parsing)は、ターゲットノードが文トークンに明示的に一致していない文間予測タスクである。 しかし、グラフノードは1つ以上の文トークンを意味的にベースとしているため、暗黙のアライメントを導出することができる。 トランジションベースのパーサーは文を左から右に操作し、この帰納的バイアスを限定的な表現性のコストでアライメントする。 本研究では,文上のハードアテンションとターゲット側のアクションポインタ機構を組み合わせることで,ノード表現やアドレスアライメントからソーストークンを分離するトランジションベースシステムを提案する。 我々は、単一のトランスフォーマーアーキテクチャ内で簡単に修正することで、遷移とポインタメカニズムをモデル化する。 注意ヘッドを用いてパーザ状態とグラフ構造情報を効率的に符号化する。 我々は, アクション・ポインターのアプローチによって表現性が向上し, 最適な遷移型AMRパーサに対して大きな利得(+1.6点)が得られることを示す。 グラフの再分類は行わないが,AMR 2.0 (81.8) ではSmatchスコアが第2位となり,銀データとアンサンブル復号により83.4に向上した。

関連論文リスト

• Graph as Point Set [31.448841287258116]
  本稿では,相互接続ノードを独立点の集合に変換するグラフ・ツー・セット変換法を提案する。 これにより、セットエンコーダを使用してグラフから学習することが可能になり、グラフニューラルネットワークの設計空間が大幅に拡張される。 提案手法の有効性を示すために,グラフから変換された点集合を入力として受け入れる変換器アーキテクチャであるPoint Set Transformer (PST)を導入する。
  論文  参考訳（メタデータ） (2024-05-05T02:29:41Z)
• Guiding AMR Parsing with Reverse Graph Linearization [45.37129580211495]
  本稿では,AMR解析のためのReverse Graph Linearization(RGL)フレームワークを提案する。 RGLは、AMRグラフのデフォルトおよび逆線形化順序を定義する。 提案手法は, AMR 2.0 と AMR 3.0 データセットにおいて, 従来最高の AMR 解析モデルである 0.8 と 0.5 の Smatch スコアをそれぞれ上回り, 構造損失蓄積の問題を著しく軽減することを示す。
  論文  参考訳（メタデータ） (2023-10-13T05:03:13Z)
• Discrete Graph Auto-Encoder [52.50288418639075]
  離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。 まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。 2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
  論文  参考訳（メタデータ） (2023-06-13T12:40:39Z)
• AGFormer: Efficient Graph Representation with Anchor-Graph Transformer [95.1825252182316]
  Anchor Graph Transformer (AGFormer) と呼ばれる新しいグラフトランスアーキテクチャを提案する。 AGFormerはまずいくつかの代表アンカーを取得し、次にノード間メッセージパッシングをアンカー間メッセージパッシングプロセスとアンカー間メッセージパッシングプロセスに変換する。 いくつかのベンチマークデータセットに対する大規模な実験は、提案されたAGFormerの有効性とメリットを示している。
  論文  参考訳（メタデータ） (2023-05-12T14:35:42Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• GN-Transformer: Fusing Sequence and Graph Representation for Improved Code Summarization [0.0]
  融合シーケンスとグラフのモダリティに基づいてエンドツーエンドの学習を行う新しい手法であるGN-Transformerを提案する。 提案手法は,2つのコード要約データセットと3つの自動コード要約メトリクスにおいて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-11-17T02:51:37Z)
• Structure-aware Fine-tuning of Sequence-to-sequence Transformers for Transition-based AMR Parsing [20.67024416678313]
  我々は、一般的な事前訓練されたシーケンス・ツー・シーケンス言語モデルと構造対応のトランジション・ベース・アプローチの統合について検討する。 構造化された微調整のための事前学習言語モデルをよりよく活用するために,単純化されたトランジションセットを提案する。 提案した解析アーキテクチャは,従来の遷移に基づくアプローチの望ましい特性を維持しつつ,グラフの再分類を必要とせず,AMR 2.0の最先端技術に到達していることを示す。
  論文  参考訳（メタデータ） (2021-10-29T04:36:31Z)
• Levi Graph AMR Parser using Heterogeneous Attention [17.74208462902158]
  本稿では,異種データ(トークン,概念,ラベル)を変換器への入力として組み合わせ,AMR解析への新たなアプローチを提案する。 我々のモデルは、以前の最先端グラフよりもかなり少ないパラメータを使用するが、AMR 2.0と3.0では類似またはより良い精度を示す。
  論文  参考訳（メタデータ） (2021-07-09T00:06:17Z)
• Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing [55.97957664897004]
  seq2seq、非自動回帰的、タスク指向を構築するための効果的なレシピは、3つのステップで発話とセマンティックフレームをマッピングする。 これらのモデルは通常、長さ予測によってボトルネックとなる。 本研究では,デコードタスクをテキスト生成からスパン予測へシフトさせる非自己回帰手法を提案する。
  論文  参考訳（メタデータ） (2021-04-15T07:02:35Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)
• A Differentiable Relaxation of Graph Segmentation and Alignment for AMR Parsing [75.36126971685034]
  我々は、アライメントとセグメンテーションをモデルの潜在変数として扱い、エンドツーエンドのトレーニングの一部としてそれらを誘導する。 また,AMRの個々の構造を扱うために手作りされたLyu2018AMRPAのセグメンテーションルールに依存するモデルにもアプローチした。
  論文  参考訳（メタデータ） (2020-10-23T21:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。