論文の概要: AMR Parsing with Causal Hierarchical Attention and Pointers

• arxiv url: http://arxiv.org/abs/2310.11964v1
• Date: Wed, 18 Oct 2023 13:44:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-19 16:27:43.503870
• Title: AMR Parsing with Causal Hierarchical Attention and Pointers
• Title（参考訳）: 因果的階層的注意とポインタを用いたAMR解析
• Authors: Chao Lou, Kewei Tu
• Abstract要約: 因果的階層的注意とポインタ機構を備えた新しいAMR解析と新しいモデルCHAPを導入する。 実験の結果, 5つのベンチマークのうち4つのベースラインモデルでは, 追加データがない場合に, ベースラインモデルよりも優れた結果が得られた。
• 参考スコア（独自算出の注目度）: 54.382865897298046
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Translation-based AMR parsers have recently gained popularity due to their simplicity and effectiveness. They predict linearized graphs as free texts, avoiding explicit structure modeling. However, this simplicity neglects structural locality in AMR graphs and introduces unnecessary tokens to represent coreferences. In this paper, we introduce new target forms of AMR parsing and a novel model, CHAP, which is equipped with causal hierarchical attention and the pointer mechanism, enabling the integration of structures into the Transformer decoder. We empirically explore various alternative modeling options. Experiments show that our model outperforms baseline models on four out of five benchmarks in the setting of no additional data.
• Abstract（参考訳）: 翻訳ベースのAMRパーサは、その単純さと有効性から最近人気を集めている。 線形化グラフを自由テキストとして予測し、明示的な構造モデリングを避ける。 しかし、この単純さはAMRグラフの構造的局所性を無視し、コア参照を表現するために不要なトークンを導入する。 本稿では,amr解析の新たな対象形態と,因果的階層的注意とポインタ機構を備えた新しいモデルchapを導入し,構造をトランスフォーマデコーダに統合する。 我々は様々な代替モデリングオプションを経験的に探求する。 実験の結果, 5つのベンチマークのうち4つのベースラインモデルでは, 追加データの設定では, ベースラインモデルよりも優れていた。

関連論文リスト

• Explaining Modern Gated-Linear RNNs via a Unified Implicit Attention Formulation [54.50526986788175]
  効率的なシーケンスモデリングの最近の進歩は、Mamba、RWKV、および様々なゲートRNNのような注意のないレイヤーを生み出している。 我々はこれらのモデルの統一的なビューを示し、暗黙の因果自己注意層のような層を定式化する。 筆者らのフレームワークは,異なるレイヤに対する類似の基盤となるメカニズムを比較検討し,説明可能性の手法を直接適用する手段を提供する。
  論文  参考訳（メタデータ） (2024-05-26T09:57:45Z)
• AMRs Assemble! Learning to Ensemble with Autoregressive Models for AMR Parsing [38.731641198934646]
  アンサンブルモデルがSMATCH計量の弱点を利用してより高いスコアを得る方法を示すが、時にグラフが破損することがある。 本稿では,トランスフォーマーモデルに基づく2つの新しいアンサンブル戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-19T08:58:47Z)
• An AMR-based Link Prediction Approach for Document-level Event Argument Extraction [51.77733454436013]
  文書レベルのイベント調停抽出(文書レベルEAE)のための抽象的意味表現(AMR)を導入した最近の研究動向 本研究では,AEをAMRグラフ上のリンク予測問題として再検討する。 本稿では,より少ない情報量のサブグラフやエッジタイプを圧縮し,スパン情報を統合し,同じ文書内の事象をハイライトする新たなグラフ構造であるTalored AMR Graph(TAG)を提案する。
  論文  参考訳（メタデータ） (2023-05-30T16:07:48Z)
• DiffusER: Discrete Diffusion via Edit-based Reconstruction [88.62707047517914]
  DiffusERは、拡散モデルに基づくテキストの編集ベースの生成モデルである。 機械翻訳、要約、スタイル転送にまたがるいくつかのタスクにおいて、自動回帰モデルと競合する可能性がある。 また、標準的な自己回帰モデルに適さないような、他の種類の世代も実行することができる。
  論文  参考訳（メタデータ） (2022-10-30T16:55:23Z)
• The m-connecting imset and factorization for ADMG models [10.839217026568784]
  非巡回有向混合グラフ(ADMG)モデルはDAGモデルのマージンを特徴づける。 ADMGモデルは、その複雑さと分析のための統計ツールの不足のために、広く使われていない。 我々はADMGによって誘導される独立モデルの代替表現を提供するm-connecting imsetを紹介する。
  論文  参考訳（メタデータ） (2022-07-18T22:29:15Z)
• Structure-aware Fine-tuning of Sequence-to-sequence Transformers for Transition-based AMR Parsing [20.67024416678313]
  我々は、一般的な事前訓練されたシーケンス・ツー・シーケンス言語モデルと構造対応のトランジション・ベース・アプローチの統合について検討する。 構造化された微調整のための事前学習言語モデルをよりよく活用するために,単純化されたトランジションセットを提案する。 提案した解析アーキテクチャは,従来の遷移に基づくアプローチの望ましい特性を維持しつつ,グラフの再分類を必要とせず,AMR 2.0の最先端技術に到達していることを示す。
  論文  参考訳（メタデータ） (2021-10-29T04:36:31Z)
• Equivalence of Segmental and Neural Transducer Modeling: A Proof of Concept [56.46135010588918]
  RNN-Transducerモデルとセグメントモデル(直接HMM)の広く使われているクラスが等価であることを証明する。 空白確率はセグメント長確率に変換され,その逆も示された。
  論文  参考訳（メタデータ） (2021-04-13T11:20:48Z)
• Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text Generation [56.73834525802723]
  軽量な動的グラフ畳み込みネットワーク (LDGCN) を提案する。 LDGCNは入力グラフから高次情報を合成することにより、よりリッチな非局所的な相互作用をキャプチャする。 我々は,グループグラフの畳み込みと重み付き畳み込みに基づく2つの新しいパラメータ保存戦略を開発し,メモリ使用量とモデル複雑性を低減する。
  論文  参考訳（メタデータ） (2020-10-09T06:03:46Z)
• GPT-too: A language-model-first approach for AMR-to-text generation [22.65728041544785]
  本稿では,事前学習型言語モデルとサイクル整合性に基づく再描画を併用したアプローチを提案する。 アプローチの単純さにもかかわらず、実験結果は、これらのモデルが過去のすべての手法より優れていることを示している。
  論文  参考訳（メタデータ） (2020-05-18T22:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。