論文の概要: Levi Graph AMR Parser using Heterogeneous Attention
- arxiv url: http://arxiv.org/abs/2107.04152v1
- Date: Fri, 9 Jul 2021 00:06:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-12 14:00:21.490940
- Title: Levi Graph AMR Parser using Heterogeneous Attention
- Title(参考訳): Heterogeneous Attention を用いた Levi Graph AMR Parser
- Authors: Han He, Jinho D. Choi
- Abstract要約: 本稿では,異種データ(トークン,概念,ラベル)を変換器への入力として組み合わせ,AMR解析への新たなアプローチを提案する。
我々のモデルは、以前の最先端グラフよりもかなり少ないパラメータを使用するが、AMR 2.0と3.0では類似またはより良い精度を示す。
- 参考スコア(独自算出の注目度): 17.74208462902158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coupled with biaffine decoders, transformers have been effectively adapted to
text-to-graph transduction and achieved state-of-the-art performance on AMR
parsing. Many prior works, however, rely on the biaffine decoder for either or
both arc and label predictions although most features used by the decoder may
be learned by the transformer already. This paper presents a novel approach to
AMR parsing by combining heterogeneous data (tokens, concepts, labels) as one
input to a transformer to learn attention, and use only attention matrices from
the transformer to predict all elements in AMR graphs (concepts, arcs, labels).
Although our models use significantly fewer parameters than the previous
state-of-the-art graph parser, they show similar or better accuracy on AMR 2.0
and 3.0.
- Abstract(参考訳): バイファインデコーダと組み合わせて、トランスフォーマーはテキストからグラフへの変換に効果的に適応し、AMR解析における最先端のパフォーマンスを実現している。
しかし、多くの先行研究はビスフィンデコーダをアークまたはラベルの予測に頼っているが、デコーダで使われているほとんどの特徴は変圧器で既に学習されている。
本稿では,異種データ(トークン,概念,ラベル)を変換器への入力として組み合わせて注意を学習し,AMRグラフのすべての要素(概念,弧,ラベル)を予測するために,変換器からの注意行列のみを用いる,新しいAMR解析手法を提案する。
我々のモデルでは、従来の最先端グラフパーサよりもパラメータが大幅に少ないが、AMR 2.0と3.0では類似またはより良い精度を示している。
関連論文リスト
- Comparing Graph Transformers via Positional Encodings [11.5844121984212]
グラフ変換器の識別能力は位置符号化の選択と密接に結びついている。
位置符号化には、絶対位置符号化(APE)と相対位置符号化(RPE)の2種類がある。
APE と RPE を用いたグラフトランスフォーマーは、パワーの区別の点で等価であることを示す。
論文 参考訳(メタデータ) (2024-02-22T01:07:48Z) - Graph Transformers without Positional Encodings [0.7252027234425334]
グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。
我々は,多数の標準GNNベンチマークデータセットにおいて,SOTAグラフ変換器に匹敵する性能を実現することを示す。
論文 参考訳(メタデータ) (2024-01-31T12:33:31Z) - Key-Value Transformer [47.64219291655723]
キー値定式化(KV)は2次元位置符号化をアテンション行列に組み込んだ非対称版とともに対称アテンションマップを生成する。
実験には3つのタスクタイプ - 合成(リストの反転やソートなど)、視覚(mnistまたはcifar classification)、NLP - が含まれる。
論文 参考訳(メタデータ) (2023-05-28T20:26:06Z) - Graph Inductive Biases in Transformers without Message Passing [47.238185813842996]
新しいグラフ誘導バイアス変換器(GRIT)は、メッセージパッシングを使わずにグラフ誘導バイアスを組み込む。
GRITは、さまざまなグラフデータセットにまたがる最先端の実証的なパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-05-27T22:26:27Z) - Transformers Meet Directed Graphs [18.490890946129284]
有向グラフの変換は、ユビキタスドメインに適用可能であるにもかかわらず、驚くほど過小評価されているトピックである。
本研究では、有向グラフに対する2つの方向対応および構造対応の位置符号化を提案する。
ソートネットワークの正当性テストやソースコード理解など,様々な下流タスクにおいて,余分な方向性情報が有用であることを示す。
論文 参考訳(メタデータ) (2023-01-31T19:33:14Z) - Integral Migrating Pre-trained Transformer Encoder-decoders for Visual
Object Detection [78.2325219839805]
imTEDは、数発のオブジェクト検出の最先端を最大7.6%改善する。
MS COCOデータセットの実験は、imTEDが一貫してそのデータセットを2.8%上回っていることを示している。
論文 参考訳(メタデータ) (2022-05-19T15:11:20Z) - SepTr: Separable Transformer for Audio Spectrogram Processing [74.41172054754928]
分離可能トランス (Separable Transformer, SepTr) と呼ばれる新しい視覚変換器アーキテクチャを提案する。
SepTrは2つのトランスフォーマーブロックを逐次的に使用し、1つは同じ周波数ビン内のトークンに、もう1つは同じ時間間隔でトークンに出席する。
我々は3つのベンチマークデータセットで実験を行い、我々のアーキテクチャが従来のビジョントランスフォーマーや他の最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-03-17T19:48:43Z) - Graph Masked Autoencoder [19.080326439575916]
グラフ表現を学習するための自己教師型モデルであるグラフマスクオートエンコーダ(GMAE)を提案する。
GMAEは部分的にマスキングされたグラフを入力として、マスキングされたノードの特徴を再構築する。
GMAEを用いて事前学習したグラフトランスフォーマーは,スクラッチからのトレーニングに比べ,微調整後の性能が向上することを示した。
論文 参考訳(メタデータ) (2022-02-17T01:04:32Z) - Regularizing Transformers With Deep Probabilistic Layers [62.997667081978825]
本研究では,BERT に深層生成モデルを含めることで,より汎用的なモデルを実現する方法を示す。
トランスフォーマーだけでなく、最も関連性の高いエンコーダデコーダベースのLM, seq2seqでも、注意なく有効であることを示す。
論文 参考訳(メタデータ) (2021-08-23T10:17:02Z) - Transformer-Based Deep Image Matching for Generalizable Person
Re-identification [114.56752624945142]
画像マッチングと距離学習にトランスフォーマーを適用する可能性について検討する。
視覚変換器 (ViT) とデコーダ付きバニラ変換器 (Vanilla Transformer) はイメージ・ツー・イメージ・アテンションの欠如により画像マッチングに適していないことがわかった。
そこで本研究では,クエリキーの類似性のみを保ちながら,ソフトマックス重み付けによる注意の完全な実装を省略する,単純化されたデコーダを提案する。
論文 参考訳(メタデータ) (2021-05-30T05:38:33Z) - AMR Parsing with Action-Pointer Transformer [18.382148821100152]
文に対するハードアテンテンションとターゲット側アクションポインタ機構を組み合わせたトランジションベースのシステムを提案する。
我々のアクションポインターアプローチは表現性を高め、最高の遷移ベースAMRに対して大きな利益を得ることを示す。
論文 参考訳(メタデータ) (2021-04-29T22:01:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。