論文の概要: To Understand Representation of Layer-aware Sequence Encoders as Multi-order-graph

• arxiv url: http://arxiv.org/abs/2101.06397v1
• Date: Sat, 16 Jan 2021 08:12:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-28 04:32:44.695595
• Title: To Understand Representation of Layer-aware Sequence Encoders as Multi-order-graph
• Title（参考訳）: レイヤアウェアシーケンスエンコーダの表現を多階グラフとして理解する
• Authors: Sufeng Duan, Hai Zhao, Rui Wang
• Abstract要約: 層認識型ニューラルシーケンスエンコーダの表現を統一的に記述する。 提案するmog説明により,表現生成の全てのステップを正確に観察できる。 また,グラフを用いた自己接続ネットワークも提案する。
• 参考スコア（独自算出の注目度）: 45.51774590045651
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a unified explanation of representation for layer-aware neural sequence encoders, which regards the representation as a revisited multigraph called multi-order-graph (MoG), so that model encoding can be viewed as a processing to capture all subgraphs in MoG. The relationship reflected by Multi-order-graph, called $n$-order dependency, can present what existing simple directed graph explanation cannot present. Our proposed MoG explanation allows to precisely observe every step of the generation of representation, put diverse relationship such as syntax into a unifiedly depicted framework. Based on the proposed MoG explanation, we further propose a graph-based self-attention network empowered Graph-Transformer by enhancing the ability of capturing subgraph information over the current models. Graph-Transformer accommodates different subgraphs into different groups, which allows model to focus on salient subgraphs. Result of experiments on neural machine translation tasks show that the MoG-inspired model can yield effective performance improvement.
• Abstract（参考訳）: 本稿では,Multi-order-graph (MoG) と呼ばれる再検討されたマルチグラフとみなす階層認識型ニューラルシーケンスエンコーダの表現を統一的に記述し,モデルエンコーディングをMoG内のすべてのサブグラフをキャプチャする処理と見なせるようにする。 n$-order dependency と呼ばれる多階グラフによって反映される関係は、既存の単純な有向グラフ説明が提示できないものを示すことができる。 提案したMoG説明は,表現生成のすべてのステップを正確に観察し,構文などの多様な関係を統一的に表現されたフレームワークに組み込む。 また,提案したMoG説明に基づいて,グラフベースの自己アテンションネットワークをグラフトランスフォーマーに拡張し,現在のモデル上でサブグラフ情報をキャプチャする機能を提案する。 graph-transformerは異なるサブグラフを異なるグループに適応させる。 ニューラルマシン翻訳タスクの実験の結果、mogに触発されたモデルが効果的な性能改善をもたらすことが示された。

関連論文リスト

• Scalable Weibull Graph Attention Autoencoder for Modeling Document Networks [50.42343781348247]
  解析条件後部を解析し,推論精度を向上させるグラフポアソン因子分析法(GPFA)を開発した。 また,GPFAを多層構造に拡張したグラフPoisson gamma belief Network (GPGBN) を用いて,階層的な文書関係を複数の意味レベルで捉える。 本モデルでは,高品質な階層型文書表現を抽出し,様々なグラフ解析タスクにおいて有望な性能を実現する。
  論文  参考訳（メタデータ） (2024-10-13T02:22:14Z)
• InstructG2I: Synthesizing Images from Multimodal Attributed Graphs [50.852150521561676]
  InstructG2Iと呼ばれるグラフ文脈条件拡散モデルを提案する。 InstructG2Iはまずグラフ構造とマルチモーダル情報を利用して情報的隣人サンプリングを行う。 Graph-QFormerエンコーダは、グラフノードをグラフプロンプトの補助セットに適応的に符号化し、デノナイジングプロセスを導く。
  論文  参考訳（メタデータ） (2024-10-09T17:56:15Z)
• Isomorphic-Consistent Variational Graph Auto-Encoders for Multi-Level Graph Representation Learning [9.039193854524763]
  本稿では,タスク非依存グラフ表現学習のためのアイソモルフィック-一貫性VGAE(IsoC-VGAE)を提案する。 まず、同型整合性を維持する理論的保証を提供するための復号法を考案する。 次に,逆グラフニューラルネットワーク(Inv-GNN)デコーダを直感的な実現法として提案する。
  論文  参考訳（メタデータ） (2023-12-09T10:16:53Z)
• Combining Stochastic Explainers and Subgraph Neural Networks can Increase Expressivity and Interpretability [12.526174412246107]
  サブグラフ強化グラフニューラルネットワーク(SGNN)は、標準的なメッセージパッシングフレームワークのパワーを高めることができる。 本稿では,グラフのクラスと説明的スパース部分グラフの集合を共同で予測する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-14T14:21:20Z)
• Gradient Gating for Deep Multi-Rate Learning on Graphs [62.25886489571097]
  グラフニューラルネットワーク(GNN)の性能向上のための新しいフレームワークであるグラディエントゲーティング(G$2$)を提案する。 我々のフレームワークは,GNN層の出力を,基盤となるグラフのノード間でのメッセージパッシング情報のマルチレートフローのメカニズムでゲーティングすることに基づいている。
  論文  参考訳（メタデータ） (2022-10-02T13:19:48Z)
• Convolutional Learning on Multigraphs [153.20329791008095]
  我々は、多グラフ上の畳み込み情報処理を開発し、畳み込み多グラフニューラルネットワーク(MGNN)を導入する。 情報拡散の複雑なダイナミクスを多グラフのエッジのクラス間で捉えるために、畳み込み信号処理モデルを定式化する。 我々は,計算複雑性を低減するため,サンプリング手順を含むマルチグラフ学習アーキテクチャを開発した。 導入されたアーキテクチャは、最適な無線リソース割り当てとヘイトスピーチローカライゼーションタスクに適用され、従来のグラフニューラルネットワークよりも優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2022-09-23T00:33:04Z)
• Soft-mask: Adaptive Substructure Extractions for Graph Neural Networks [40.64326531965043]
  グラフニューラルネットワークは、タスク関連構造を効率的に抽出し、非関連部分に不変であるべきである。 本研究では,元のグラフの一連の部分グラフからグラフ表現を学習し,タスク関連部分構造や階層構造をよりよく把握し,$noisy$partをスキップすることを提案する。 ソフトマスクGNN層は固定サンプルやドロップ比に制限されないため、任意の大きさのグラフを抽出することがより柔軟である。
  論文  参考訳（メタデータ） (2022-06-11T11:04:23Z)
• Multiresolution Graph Variational Autoencoder [11.256959274636724]
  多分解能グラフネットワーク(MGN)と多分解能グラフ変分オートエンコーダ(MGVAE)を提案する。 各解像度レベルでは、MGNはグラフを符号化し、それを互いに排他的なクラスタに分割し、より低い解像度に粗くする。 MGVAEはMGNに基づく階層的生成モデルを構築し、粗いグラフの階層を変動的に自動符号化する。
  論文  参考訳（メタデータ） (2021-06-02T06:28:47Z)
• Graph-to-Sequence Neural Machine Translation [79.0617920270817]
  グラフ変換器(Graph-Transformer)と呼ばれるグラフベースのSANベースのNMTモデルを提案する。 サブグラフは順番に応じて異なるグループに分類され、各サブグラフは単語間の依存度をそれぞれ異なるレベルに反映する。 提案手法は,WMT14ドイツ語データセットの1.1BLEU点,IWSLT14ドイツ語データセットの1.0BLEU点の改善により,トランスフォーマーを効果的に向上させることができる。
  論文  参考訳（メタデータ） (2020-09-16T06:28:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。