論文の概要: Hcore-Init: Neural Network Initialization based on Graph Degeneracy

• arxiv url: http://arxiv.org/abs/2004.07636v2
• Date: Fri, 9 Sep 2022 11:24:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 21:00:09.764742
• Title: Hcore-Init: Neural Network Initialization based on Graph Degeneracy
• Title（参考訳）: Hcore-Init: グラフデジェネリズムに基づくニューラルネットワークの初期化
• Authors: Stratis Limnios, George Dasoulas, Dimitrios M. Thilikos, Michalis Vazirgiannis
• Abstract要約: ディープラーニングアーキテクチャから抽出した全重み付きマルチパートグラフに対して,kコア構造の適応版を提案する。 多部グラフは双部グラフの組合せであり、ハイパーグラフの入射グラフであるので、k-ハイパーコア分解を設計する。
• 参考スコア（独自算出の注目度）: 22.923756039561194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are the pinnacle of Artificial Intelligence, as in recent years we witnessed many novel architectures, learning and optimization techniques for deep learning. Capitalizing on the fact that neural networks inherently constitute multipartite graphs among neuron layers, we aim to analyze directly their structure to extract meaningful information that can improve the learning process. To our knowledge graph mining techniques for enhancing learning in neural networks have not been thoroughly investigated. In this paper we propose an adapted version of the k-core structure for the complete weighted multipartite graph extracted from a deep learning architecture. As a multipartite graph is a combination of bipartite graphs, that are in turn the incidence graphs of hypergraphs, we design k-hypercore decomposition, the hypergraph analogue of k-core degeneracy. We applied k-hypercore to several neural network architectures, more specifically to convolutional neural networks and multilayer perceptrons for image recognition tasks after a very short pretraining. Then we used the information provided by the hypercore numbers of the neurons to re-initialize the weights of the neural network, thus biasing the gradient optimization scheme. Extensive experiments proved that k-hypercore outperforms the state-of-the-art initialization methods.
• Abstract（参考訳）: ニューラルネットワークは人工知能の頂点であり、近年では多くの新しいアーキテクチャ、ディープラーニングのための学習と最適化技術が目撃されている。 ニューラルネットワークが本質的にニューロン層間の多成分グラフを構成するという事実を活かし、その構造を直接分析し、学習プロセスを改善する有意義な情報を抽出することを目指している。 ニューラルネットワークにおける学習強化のためのナレッジグラフマイニング手法は十分に検討されていない。 本稿では,ディープラーニングアーキテクチャから抽出した全重み付きマルチパートグラフに対して,kコア構造の適応版を提案する。 多部グラフは双部グラフの組み合わせであり、双部グラフは超グラフの入射グラフであり、k-ハイパーコア分解、k-コア縮退のハイパーグラフ類似体を設計する。 我々はk-hypercoreを複数のニューラルネットワークアーキテクチャに適用し、特に畳み込みニューラルネットワークと多層パーセプトロンを、非常に短い事前学習の後に画像認識タスクに応用した。 次に、ニューロンのハイパーコア数によって提供される情報を用いて、ニューラルネットワークの重みを再初期化し、勾配最適化スキームをバイアスする。 k-ハイパーコアは最先端の初期化法よりも優れていた。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Infinite Width Graph Neural Networks for Node Regression/ Classification [0.0]
  この研究は、グラフ構造化データ上の完全連結ディープニューラルネットワークの一般化であるグラフニューラルネットワークを分析する。
  論文  参考訳（メタデータ） (2023-10-12T10:01:39Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Knowledge Enhanced Graph Neural Networks for Graph Completion [0.0]
  Knowledge Enhanced Graph Neural Networks (KeGNN)は、グラフ補完のためのニューラルシンボリックなフレームワークである。 KeGNNは、知識強化レイヤを積み重ねた基盤としてグラフニューラルネットワークで構成されている。 我々はKeGNNを、最先端のグラフニューラルネットワーク、グラフ畳み込みネットワーク、グラフ注意ネットワークの2つと組み合わせてインスタンス化する。
  論文  参考訳（メタデータ） (2023-03-27T07:53:43Z)
• Convolutional Learning on Multigraphs [153.20329791008095]
  我々は、多グラフ上の畳み込み情報処理を開発し、畳み込み多グラフニューラルネットワーク(MGNN)を導入する。 情報拡散の複雑なダイナミクスを多グラフのエッジのクラス間で捉えるために、畳み込み信号処理モデルを定式化する。 我々は,計算複雑性を低減するため,サンプリング手順を含むマルチグラフ学習アーキテクチャを開発した。 導入されたアーキテクチャは、最適な無線リソース割り当てとヘイトスピーチローカライゼーションタスクに適用され、従来のグラフニューラルネットワークよりも優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2022-09-23T00:33:04Z)
• Learning through structure: towards deep neuromorphic knowledge graph embeddings [0.5906031288935515]
  本稿では,知識グラフ推論のための深層グラフ学習アーキテクチャをニューロモルフィックアーキテクチャにマッピングする戦略を提案する。 ランダムかつ未学習のグラフニューラルネットワークが局所的なグラフ構造を保存することができるという知見に基づいて、凍結したニューラルネットワークの浅い知識グラフ埋め込みモデルを構成する。 我々は,従来型のハードウェア上では,性能水準を維持しながら,高速化とメモリの大幅な削減を実現していることを示す。
  論文  参考訳（メタデータ） (2021-09-21T18:01:04Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Graph Structure of Neural Networks [104.33754950606298]
  ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。 リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。 トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
  論文  参考訳（メタデータ） (2020-07-13T17:59:31Z)
• Geometrically Principled Connections in Graph Neural Networks [66.51286736506658]
  我々は、幾何学的深層学習の新興分野におけるイノベーションの原動力は、幾何が依然として主要な推進力であるべきだと論じている。 グラフニューラルネットワークとコンピュータグラフィックスとデータ近似モデルとの関係:放射基底関数(RBF) 完全連結層とグラフ畳み込み演算子を組み合わせた新しいビルディングブロックであるアフィンスキップ接続を導入する。
  論文  参考訳（メタデータ） (2020-04-06T13:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。