論文の概要: To Understand Representation of Layer-aware Sequence Encoders as
Multi-order-graph
- arxiv url: http://arxiv.org/abs/2101.06397v1
- Date: Sat, 16 Jan 2021 08:12:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-28 04:32:44.695595
- Title: To Understand Representation of Layer-aware Sequence Encoders as
Multi-order-graph
- Title(参考訳): レイヤアウェアシーケンスエンコーダの表現を多階グラフとして理解する
- Authors: Sufeng Duan, Hai Zhao, Rui Wang
- Abstract要約: 層認識型ニューラルシーケンスエンコーダの表現を統一的に記述する。
提案するmog説明により,表現生成の全てのステップを正確に観察できる。
また,グラフを用いた自己接続ネットワークも提案する。
- 参考スコア(独自算出の注目度): 45.51774590045651
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a unified explanation of representation for
layer-aware neural sequence encoders, which regards the representation as a
revisited multigraph called multi-order-graph (MoG), so that model encoding can
be viewed as a processing to capture all subgraphs in MoG. The relationship
reflected by Multi-order-graph, called $n$-order dependency, can present what
existing simple directed graph explanation cannot present. Our proposed MoG
explanation allows to precisely observe every step of the generation of
representation, put diverse relationship such as syntax into a unifiedly
depicted framework. Based on the proposed MoG explanation, we further propose a
graph-based self-attention network empowered Graph-Transformer by enhancing the
ability of capturing subgraph information over the current models.
Graph-Transformer accommodates different subgraphs into different groups, which
allows model to focus on salient subgraphs. Result of experiments on neural
machine translation tasks show that the MoG-inspired model can yield effective
performance improvement.
- Abstract(参考訳): 本稿では,Multi-order-graph (MoG) と呼ばれる再検討されたマルチグラフとみなす階層認識型ニューラルシーケンスエンコーダの表現を統一的に記述し,モデルエンコーディングをMoG内のすべてのサブグラフをキャプチャする処理と見なせるようにする。
n$-order dependency と呼ばれる多階グラフによって反映される関係は、既存の単純な有向グラフ説明が提示できないものを示すことができる。
提案したMoG説明は,表現生成のすべてのステップを正確に観察し,構文などの多様な関係を統一的に表現されたフレームワークに組み込む。
また,提案したMoG説明に基づいて,グラフベースの自己アテンションネットワークをグラフトランスフォーマーに拡張し,現在のモデル上でサブグラフ情報をキャプチャする機能を提案する。
graph-transformerは異なるサブグラフを異なるグループに適応させる。
ニューラルマシン翻訳タスクの実験の結果、mogに触発されたモデルが効果的な性能改善をもたらすことが示された。
関連論文リスト
- Isomorphic-Consistent Variational Graph Auto-Encoders for Multi-Level
Graph Representation Learning [9.039193854524763]
本稿では,タスク非依存グラフ表現学習のためのアイソモルフィック-一貫性VGAE(IsoC-VGAE)を提案する。
まず、同型整合性を維持する理論的保証を提供するための復号法を考案する。
次に,逆グラフニューラルネットワーク(Inv-GNN)デコーダを直感的な実現法として提案する。
論文 参考訳(メタデータ) (2023-12-09T10:16:53Z) - Discrete Graph Auto-Encoder [52.50288418639075]
離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。
まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。
2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
論文 参考訳(メタデータ) (2023-06-13T12:40:39Z) - Deep Graph Neural Networks via Flexible Subgraph Aggregation [50.034313206471694]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習し、近隣情報を集約することでノードの表現を学ぶ。
本稿では,サブグラフアグリゲーションの観点から,GNNの表現力を評価する。
サブグラフアグリゲーションの異なるホップをより柔軟に活用できるサンプリングベースノードレベル残余モジュール(SNR)を提案する。
論文 参考訳(メタデータ) (2023-05-09T12:03:42Z) - Combining Stochastic Explainers and Subgraph Neural Networks can
Increase Expressivity and Interpretability [12.526174412246107]
サブグラフ強化グラフニューラルネットワーク(SGNN)は、標準的なメッセージパッシングフレームワークのパワーを高めることができる。
本稿では,グラフのクラスと説明的スパース部分グラフの集合を共同で予測する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-14T14:21:20Z) - Gradient Gating for Deep Multi-Rate Learning on Graphs [62.25886489571097]
グラフニューラルネットワーク(GNN)の性能向上のための新しいフレームワークであるグラディエントゲーティング(G$2$)を提案する。
我々のフレームワークは,GNN層の出力を,基盤となるグラフのノード間でのメッセージパッシング情報のマルチレートフローのメカニズムでゲーティングすることに基づいている。
論文 参考訳(メタデータ) (2022-10-02T13:19:48Z) - Convolutional Learning on Multigraphs [153.20329791008095]
我々は、多グラフ上の畳み込み情報処理を開発し、畳み込み多グラフニューラルネットワーク(MGNN)を導入する。
情報拡散の複雑なダイナミクスを多グラフのエッジのクラス間で捉えるために、畳み込み信号処理モデルを定式化する。
我々は,計算複雑性を低減するため,サンプリング手順を含むマルチグラフ学習アーキテクチャを開発した。
導入されたアーキテクチャは、最適な無線リソース割り当てとヘイトスピーチローカライゼーションタスクに適用され、従来のグラフニューラルネットワークよりも優れたパフォーマンスを提供する。
論文 参考訳(メタデータ) (2022-09-23T00:33:04Z) - Soft-mask: Adaptive Substructure Extractions for Graph Neural Networks [40.64326531965043]
グラフニューラルネットワークは、タスク関連構造を効率的に抽出し、非関連部分に不変であるべきである。
本研究では,元のグラフの一連の部分グラフからグラフ表現を学習し,タスク関連部分構造や階層構造をよりよく把握し,$noisy$partをスキップすることを提案する。
ソフトマスクGNN層は固定サンプルやドロップ比に制限されないため、任意の大きさのグラフを抽出することがより柔軟である。
論文 参考訳(メタデータ) (2022-06-11T11:04:23Z) - Equivariant Subgraph Aggregation Networks [23.26140936226352]
本稿では,この問題に対処するためのEquivariant Subgraph Aggregation Networks (ESAN) という新しいフレームワークを提案する。
2つのグラフはMPNNでは区別できないかもしれないが、しばしば区別可能な部分グラフを含む。
グラフ同型に対する1次元Weisfeiler-Leman(1-WL)テストの新しい変種を開発し、ESANの表現性に対する下界を証明した。
サブグラフ選択ポリシーや同変ニューラルアーキテクチャといった設計選択がアーキテクチャの表現力にどのように影響するかを記述する理論的結果を提供する。
論文 参考訳(メタデータ) (2021-10-06T16:45:07Z) - Multiresolution Graph Variational Autoencoder [11.256959274636724]
多分解能グラフネットワーク(MGN)と多分解能グラフ変分オートエンコーダ(MGVAE)を提案する。
各解像度レベルでは、MGNはグラフを符号化し、それを互いに排他的なクラスタに分割し、より低い解像度に粗くする。
MGVAEはMGNに基づく階層的生成モデルを構築し、粗いグラフの階層を変動的に自動符号化する。
論文 参考訳(メタデータ) (2021-06-02T06:28:47Z) - Graph-to-Sequence Neural Machine Translation [79.0617920270817]
グラフ変換器(Graph-Transformer)と呼ばれるグラフベースのSANベースのNMTモデルを提案する。
サブグラフは順番に応じて異なるグループに分類され、各サブグラフは単語間の依存度をそれぞれ異なるレベルに反映する。
提案手法は,WMT14ドイツ語データセットの1.1BLEU点,IWSLT14ドイツ語データセットの1.0BLEU点の改善により,トランスフォーマーを効果的に向上させることができる。
論文 参考訳(メタデータ) (2020-09-16T06:28:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。