論文の概要: Learning through structure: towards deep neuromorphic knowledge graph
embeddings
- arxiv url: http://arxiv.org/abs/2109.10376v1
- Date: Tue, 21 Sep 2021 18:01:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-23 13:52:08.808531
- Title: Learning through structure: towards deep neuromorphic knowledge graph
embeddings
- Title（参考訳）: 構造を通じた学習:深層神経形態的知識グラフ埋め込みに向けて
- Authors: Victor Caceres Chian, Marcel Hildebrandt, Thomas Runkler, Dominik Dold
- Abstract要約: 本稿では,知識グラフ推論のための深層グラフ学習アーキテクチャをニューロモルフィックアーキテクチャにマッピングする戦略を提案する。
ランダムかつ未学習のグラフニューラルネットワークが局所的なグラフ構造を保存することができるという知見に基づいて、凍結したニューラルネットワークの浅い知識グラフ埋め込みモデルを構成する。
我々は,従来型のハードウェア上では,性能水準を維持しながら,高速化とメモリの大幅な削減を実現していることを示す。
- 参考スコア（独自算出の注目度）: 0.5906031288935515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computing latent representations for graph-structured data is an ubiquitous
learning task in many industrial and academic applications ranging from
molecule synthetization to social network analysis and recommender systems.
Knowledge graphs are among the most popular and widely used data
representations related to the Semantic Web. Next to structuring factual
knowledge in a machine-readable format, knowledge graphs serve as the backbone
of many artificial intelligence applications and allow the ingestion of context
information into various learning algorithms. Graph neural networks attempt to
encode graph structures in low-dimensional vector spaces via a message passing
heuristic between neighboring nodes. Over the recent years, a multitude of
different graph neural network architectures demonstrated ground-breaking
performances in many learning tasks. In this work, we propose a strategy to map
deep graph learning architectures for knowledge graph reasoning to neuromorphic
architectures. Based on the insight that randomly initialized and untrained
(i.e., frozen) graph neural networks are able to preserve local graph
structures, we compose a frozen neural network with shallow knowledge graph
embedding models. We experimentally show that already on conventional computing
hardware, this leads to a significant speedup and memory reduction while
maintaining a competitive performance level. Moreover, we extend the frozen
architecture to spiking neural networks, introducing a novel, event-based and
highly sparse knowledge graph embedding algorithm that is suitable for
implementation in neuromorphic hardware.
- Abstract（参考訳）: グラフ構造化データの潜在表現の計算は、分子合成からソーシャルネットワーク分析、レコメンダシステムまで、多くの産業および学術アプリケーションにおいてユビキタスな学習タスクである。
知識グラフはセマンティックウェブに関連する最もポピュラーで広く使われているデータ表現の一つである。
機械可読形式で事実知識を構造化するのに加えて、知識グラフは多くの人工知能アプリケーションのバックボーンとなり、さまざまな学習アルゴリズムにコンテキスト情報を取り込むことができる。
グラフニューラルネットワークは、隣接ノード間のメッセージパッシングヒューリスティックを介して、低次元ベクトル空間内のグラフ構造を符号化しようとする。
近年、さまざまなグラフニューラルネットワークアーキテクチャが多くの学習タスクにおいて画期的なパフォーマンスを示している。
本研究では,知識グラフ推論のための深層グラフ学習アーキテクチャをニューロモルフィックアーキテクチャにマッピングする手法を提案する。
ランダムに初期化され、未学習のグラフニューラルネットワークが局所的なグラフ構造を保存することができるという知見に基づいて、浅い知識グラフ埋め込みモデルを備えた凍結ニューラルネットワークを構成する。
我々は,従来型のハードウェア上では,性能水準を維持しながら,高速化とメモリの大幅な削減を実現していることを示す。
さらに,凍結したアーキテクチャをスパイキングニューラルネットワークに拡張し,ニューロモーフィックハードウェアの実装に適した,新しい,イベントベースかつ高スパースなナレッジグラフ埋め込みアルゴリズムを導入する。
関連論文リスト
- Knowledge Enhanced Graph Neural Networks for Graph Completion [0.0]
Knowledge Enhanced Graph Neural Networks (KeGNN)は、グラフ補完のためのニューラルシンボリックなフレームワークである。
KeGNNは、知識強化レイヤを積み重ねた基盤としてグラフニューラルネットワークで構成されている。
我々はKeGNNを、最先端のグラフニューラルネットワーク、グラフ畳み込みネットワーク、グラフ注意ネットワークの2つと組み合わせてインスタンス化する。
論文 参考訳（メタデータ） (2023-03-27T07:53:43Z) - State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。
グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。
ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
論文 参考訳（メタデータ） (2023-01-14T09:15:49Z) - Hyperbolic Graph Neural Networks: A Review of Methods and Applications [55.5502008501764]
グラフニューラルネットワークは、従来のニューラルネットワークをグラフ構造化データに一般化する。
グラフ関連学習におけるユークリッドモデルの性能は、ユークリッド幾何学の表現能力によって依然として制限されている。
近年,木のような構造を持つグラフデータ処理や,ゆるい分布の処理において,双曲空間が人気が高まっている。
論文 参考訳（メタデータ） (2022-02-28T15:08:48Z) - SpikE: spike-based embeddings for multi-relational graph data [0.0]
スパイクニューラルネットワークは、感覚処理から生じるタスクに主に適用されます。
業界や研究に幅広く適用されている豊富なデータ表現は、いわゆるナレッジグラフです。
本稿では,グラフ中のノードをニューロン集団の単一スパイク時間で表すスパイクベースのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-04-27T18:00:12Z) - Learning Graph Representations [0.0]
グラフニューラルネットワーク(GNN)は、大きな動的グラフデータセットに対する洞察を得るための効率的な方法である。
本稿では,グラフ畳み込みニューラルネットワークのオートエンコーダとソーシャル・テンポラル・グラフ・ニューラルネットワークについて論じる。
論文 参考訳（メタデータ） (2021-02-03T12:07:55Z) - Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。
CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。
提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
論文 参考訳（メタデータ） (2020-10-25T22:39:31Z) - Graph Structure of Neural Networks [104.33754950606298]
ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。
リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。
トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
論文 参考訳（メタデータ） (2020-07-13T17:59:31Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-06-17T16:18:35Z) - A Heterogeneous Graph with Factual, Temporal and Logical Knowledge for
Question Answering Over Dynamic Contexts [81.4757750425247]
動的テキスト環境における質問応答について検討する。
構築したグラフ上にグラフニューラルネットワークを構築し,エンドツーエンドでモデルをトレーニングする。
論文 参考訳（メタデータ） (2020-04-25T04:53:54Z) - Hcore-Init: Neural Network Initialization based on Graph Degeneracy [22.923756039561194]
ディープラーニングアーキテクチャから抽出した全重み付きマルチパートグラフに対して,kコア構造の適応版を提案する。
多部グラフは双部グラフの組合せであり、ハイパーグラフの入射グラフであるので、k-ハイパーコア分解を設計する。
論文 参考訳（メタデータ） (2020-04-16T12:57:14Z) - Geometrically Principled Connections in Graph Neural Networks [66.51286736506658]
我々は、幾何学的深層学習の新興分野におけるイノベーションの原動力は、幾何が依然として主要な推進力であるべきだと論じている。
グラフニューラルネットワークとコンピュータグラフィックスとデータ近似モデルとの関係:放射基底関数(RBF)
完全連結層とグラフ畳み込み演算子を組み合わせた新しいビルディングブロックであるアフィンスキップ接続を導入する。
論文 参考訳（メタデータ） (2020-04-06T13:25:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。