論文の概要: Beyond Graph Neural Networks with Lifted Relational Neural Networks
- arxiv url: http://arxiv.org/abs/2007.06286v1
- Date: Mon, 13 Jul 2020 10:10:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 22:30:24.807269
- Title: Beyond Graph Neural Networks with Lifted Relational Neural Networks
- Title(参考訳): リレーショナルニューラルネットワークを用いたグラフニューラルネットワークを超えて
- Authors: Gustav Sourek, Filip Zelezny, Ondrej Kuzelka
- Abstract要約: 我々は,Lfted Neural Networks の言語に基づく宣言型微分可能プログラミングフレームワークを実演する。
小さなパラメータ化プログラムは学習を符号化するために使用される。
このアイデアは、様々な高度なニューラルネットワークの効率的な符号化にどのように使用できるかを示す。
- 参考スコア(独自算出の注目度): 14.63152363481139
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We demonstrate a declarative differentiable programming framework based on
the language of Lifted Relational Neural Networks, where small parameterized
logic programs are used to encode relational learning scenarios. When presented
with relational data, such as various forms of graphs, the program interpreter
dynamically unfolds differentiable computational graphs to be used for the
program parameter optimization by standard means. Following from the used
declarative Datalog abstraction, this results into compact and elegant learning
programs, in contrast with the existing procedural approaches operating
directly on the computational graph level. We illustrate how this idea can be
used for an efficient encoding of a diverse range of existing advanced neural
architectures, with a particular focus on Graph Neural Networks (GNNs).
Additionally, we show how the contemporary GNN models can be easily extended
towards higher relational expressiveness. In the experiments, we demonstrate
correctness and computation efficiency through comparison against specialized
GNN deep learning frameworks, while shedding some light on the learning
performance of existing GNN models.
- Abstract(参考訳): 本稿では,Lfted Relational Neural Networksの言語に基づく宣言型微分可能プログラミングフレームワークについて紹介する。
各種グラフなどの関係データを提示すると、プログラムインタプリタは、プログラムパラメータ最適化に使用する微分可能な計算グラフを標準手段で動的に展開する。
使用する宣言型データログの抽象化に従えば、計算グラフのレベルで直接動作する既存の手続き的アプローチとは対照的に、コンパクトでエレガントな学習プログラムが得られる。
このアイデアが、グラフニューラルネットワーク(GNN)に特に焦点をあてた、さまざまな高度なニューラルネットワークアーキテクチャの効率的なエンコーディングにどのように使用できるかを説明する。
さらに,同時代のGNNモデルを高関係表現性に向けて容易に拡張できることを示す。
実験では,既存のGNNモデルの学習性能に光を当てつつ,特殊なGNN深層学習フレームワークとの比較により,正確さと計算効率を実証した。
関連論文リスト
- Self-supervision meets kernel graph neural models: From architecture to
augmentations [36.388069423383286]
カーネルグラフニューラルネットワーク(KGNN)の設計と学習の改善
我々はLGA(Latent graph augmentation)と呼ばれる新しい構造保存グラフデータ拡張法を開発した。
提案モデルは,最先端のグラフ表現学習フレームワークに匹敵する,あるいは時として優れる性能を実現する。
論文 参考訳(メタデータ) (2023-10-17T14:04:22Z) - How Graph Neural Networks Learn: Lessons from Training Dynamics [86.27589054492427]
グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。
勾配降下によるGNNの最適化は暗黙的にグラフ構造を利用して学習した関数を更新する。
グラフ構造を用いて学習した関数を明示的に更新することで得られる単純で効率的な非パラメトリックアルゴリズムは、非線形GNNと一貫して競合することを示す。
論文 参考訳(メタデータ) (2023-10-08T10:19:56Z) - Relation Embedding based Graph Neural Networks for Handling
Heterogeneous Graph [58.99478502486377]
我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。
具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
論文 参考訳(メタデータ) (2022-09-23T05:24:18Z) - Efficient and effective training of language and graph neural network
models [36.00479096375565]
我々は,大規模言語モデルとグラフニューラルネットワークを協調的に学習する,効率的な言語モデルGNN(LM-GNN)を提案する。
本フレームワークの有効性は、BERTモデルの段階的微調整をまず異種グラフ情報に適用し、次にGNNモデルを用いて達成する。
我々は,LM-GNNフレームワークを異なるデータセットの性能で評価し,提案手法の有効性を示す。
論文 参考訳(メタデータ) (2022-06-22T00:23:37Z) - Random Graph-Based Neuromorphic Learning with a Layer-Weaken Structure [4.477401614534202]
我々は,ランダムグラフ理論を実践的な意味でNNモデルに変換し,各ニューロンの入出力関係を明らかにする。
この低演算コストアプローチでは、ニューロンはいくつかのグループに割り当てられ、接続関係はそれらに属するランダムグラフの一様表現とみなすことができる。
本稿では,複数のRGNN間の情報インタラクションを含む共同分類機構を開発し,教師付き学習における3つのベンチマークタスクの大幅な性能向上を実現する。
論文 参考訳(メタデータ) (2021-11-17T03:37:06Z) - Learning to Execute Programs with Instruction Pointer Attention Graph
Neural Networks [55.98291376393561]
グラフニューラルネットワーク(GNN)は、ソフトウェアエンジニアリングタスクを学習するための強力なツールとして登場した。
リカレントニューラルネットワーク(RNN)は、長いシーケンシャルな推論の連鎖に適しているが、プログラム構造を自然に組み込んでいるわけではない。
本稿では,新しいGNNアーキテクチャ,IPA-GNN(Instruction Pointer Attention Graph Neural Networks)を導入する。
論文 参考訳(メタデータ) (2020-10-23T19:12:30Z) - Data-Driven Learning of Geometric Scattering Networks [74.3283600072357]
最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。
我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
論文 参考訳(メタデータ) (2020-10-06T01:20:27Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳(メタデータ) (2020-04-19T09:43:14Z) - Evaluating Logical Generalization in Graph Neural Networks [59.70452462833374]
グラフニューラルネットワーク(GNN)を用いた論理一般化の課題について検討する。
ベンチマークスイートであるGraphLogでは、学習アルゴリズムが異なる合成論理でルール誘導を実行する必要がある。
モデルが一般化し適応する能力は、トレーニング中に遭遇する論理規則の多様性によって強く決定される。
論文 参考訳(メタデータ) (2020-03-14T05:45:55Z) - Comparison of Syntactic and Semantic Representations of Programs in
Neural Embeddings [1.0878040851638]
プログラム埋め込みのタスクにおいて、異なるグラフ表現を用いてグラフ畳み込みネットワークを比較する。
制御フローグラフの空間性やグラフ畳み込みネットワークの暗黙の集約は、これらのモデルがナイーブモデルよりも悪い結果をもたらすことを示している。
論文 参考訳(メタデータ) (2020-01-24T21:30:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。