論文の概要: Levi Graph AMR Parser using Heterogeneous Attention
- arxiv url: http://arxiv.org/abs/2107.04152v1
- Date: Fri, 9 Jul 2021 00:06:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-12 14:00:21.490940
- Title: Levi Graph AMR Parser using Heterogeneous Attention
- Title(参考訳): Heterogeneous Attention を用いた Levi Graph AMR Parser
- Authors: Han He, Jinho D. Choi
- Abstract要約: 本稿では,異種データ(トークン,概念,ラベル)を変換器への入力として組み合わせ,AMR解析への新たなアプローチを提案する。
我々のモデルは、以前の最先端グラフよりもかなり少ないパラメータを使用するが、AMR 2.0と3.0では類似またはより良い精度を示す。
- 参考スコア(独自算出の注目度): 17.74208462902158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coupled with biaffine decoders, transformers have been effectively adapted to
text-to-graph transduction and achieved state-of-the-art performance on AMR
parsing. Many prior works, however, rely on the biaffine decoder for either or
both arc and label predictions although most features used by the decoder may
be learned by the transformer already. This paper presents a novel approach to
AMR parsing by combining heterogeneous data (tokens, concepts, labels) as one
input to a transformer to learn attention, and use only attention matrices from
the transformer to predict all elements in AMR graphs (concepts, arcs, labels).
Although our models use significantly fewer parameters than the previous
state-of-the-art graph parser, they show similar or better accuracy on AMR 2.0
and 3.0.
- Abstract(参考訳): バイファインデコーダと組み合わせて、トランスフォーマーはテキストからグラフへの変換に効果的に適応し、AMR解析における最先端のパフォーマンスを実現している。
しかし、多くの先行研究はビスフィンデコーダをアークまたはラベルの予測に頼っているが、デコーダで使われているほとんどの特徴は変圧器で既に学習されている。
本稿では,異種データ(トークン,概念,ラベル)を変換器への入力として組み合わせて注意を学習し,AMRグラフのすべての要素(概念,弧,ラベル)を予測するために,変換器からの注意行列のみを用いる,新しいAMR解析手法を提案する。
我々のモデルでは、従来の最先端グラフパーサよりもパラメータが大幅に少ないが、AMR 2.0と3.0では類似またはより良い精度を示している。
関連論文リスト
- Variable-size Symmetry-based Graph Fourier Transforms for image compression [65.7352685872625]
可変サイズのグラフフーリエ変換を符号化フレームワークに導入する。
提案アルゴリズムは,ノード間の特定の対称接続を追加することにより,グリッド上の対称グラフを生成する。
実験により、SBGFTは、明示的な多重変換選択に統合された一次変換よりも優れていることが示された。
論文 参考訳(メタデータ) (2024-11-24T13:00:44Z) - Graph Transformers Dream of Electric Flow [72.06286909236827]
グラフデータに適用された線形変換器は、正準問題を解くアルゴリズムを実装可能であることを示す。
そこで我々は,これらのグラフアルゴリズムをそれぞれ実装するための明示的な重み設定を提案し,基礎となるアルゴリズムの誤差によって構築したトランスフォーマーの誤差を限定する。
論文 参考訳(メタデータ) (2024-10-22T05:11:45Z) - On the Optimization and Generalization of Two-layer Transformers with Sign Gradient Descent [51.50999191584981]
Sign Gradient Descent (SignGD) はアダムの効果的なサロゲートである。
我々はSignGDが雑音の多いデータセット上で2層トランスを最適化する方法について検討する。
SignGDの一般化が不十分なのはデータノイズによるものではなく、SignGDとAdamの両方が現実世界のタスクに高品質なデータを必要とすることを示唆している。
論文 参考訳(メタデータ) (2024-10-07T09:36:43Z) - Comparing Graph Transformers via Positional Encodings [11.5844121984212]
グラフ変換器の識別能力は位置符号化の選択と密接に結びついている。
位置符号化には、絶対位置符号化(APE)と相対位置符号化(RPE)の2種類がある。
APE と RPE を用いたグラフトランスフォーマーは、パワーの区別の点で等価であることを示す。
論文 参考訳(メタデータ) (2024-02-22T01:07:48Z) - Key-Value Transformer [47.64219291655723]
キー値定式化(KV)は2次元位置符号化をアテンション行列に組み込んだ非対称版とともに対称アテンションマップを生成する。
実験には3つのタスクタイプ - 合成(リストの反転やソートなど)、視覚(mnistまたはcifar classification)、NLP - が含まれる。
論文 参考訳(メタデータ) (2023-05-28T20:26:06Z) - Transformers Meet Directed Graphs [18.490890946129284]
有向グラフの変換は、ユビキタスドメインに適用可能であるにもかかわらず、驚くほど過小評価されているトピックである。
本研究では、有向グラフに対する2つの方向対応および構造対応の位置符号化を提案する。
ソートネットワークの正当性テストやソースコード理解など,様々な下流タスクにおいて,余分な方向性情報が有用であることを示す。
論文 参考訳(メタデータ) (2023-01-31T19:33:14Z) - SepTr: Separable Transformer for Audio Spectrogram Processing [74.41172054754928]
分離可能トランス (Separable Transformer, SepTr) と呼ばれる新しい視覚変換器アーキテクチャを提案する。
SepTrは2つのトランスフォーマーブロックを逐次的に使用し、1つは同じ周波数ビン内のトークンに、もう1つは同じ時間間隔でトークンに出席する。
我々は3つのベンチマークデータセットで実験を行い、我々のアーキテクチャが従来のビジョントランスフォーマーや他の最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-03-17T19:48:43Z) - Graph Masked Autoencoder [19.080326439575916]
グラフ表現を学習するための自己教師型モデルであるグラフマスクオートエンコーダ(GMAE)を提案する。
GMAEは部分的にマスキングされたグラフを入力として、マスキングされたノードの特徴を再構築する。
GMAEを用いて事前学習したグラフトランスフォーマーは,スクラッチからのトレーニングに比べ,微調整後の性能が向上することを示した。
論文 参考訳(メタデータ) (2022-02-17T01:04:32Z) - Transformer-Based Deep Image Matching for Generalizable Person
Re-identification [114.56752624945142]
画像マッチングと距離学習にトランスフォーマーを適用する可能性について検討する。
視覚変換器 (ViT) とデコーダ付きバニラ変換器 (Vanilla Transformer) はイメージ・ツー・イメージ・アテンションの欠如により画像マッチングに適していないことがわかった。
そこで本研究では,クエリキーの類似性のみを保ちながら,ソフトマックス重み付けによる注意の完全な実装を省略する,単純化されたデコーダを提案する。
論文 参考訳(メタデータ) (2021-05-30T05:38:33Z) - AMR Parsing with Action-Pointer Transformer [18.382148821100152]
文に対するハードアテンテンションとターゲット側アクションポインタ機構を組み合わせたトランジションベースのシステムを提案する。
我々のアクションポインターアプローチは表現性を高め、最高の遷移ベースAMRに対して大きな利益を得ることを示す。
論文 参考訳(メタデータ) (2021-04-29T22:01:41Z) - Online Back-Parsing for AMR-to-Text Generation [29.12944601513491]
AMR-to-text生成は、入力されたAMRグラフと同じ意味のテキストを復元することを目的としている。
テキスト生成中にターゲット文に投影されたAMRグラフを逆予測するデコーダを提案する。
論文 参考訳(メタデータ) (2020-10-09T12:08:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。