論文の概要: Learning on Arbitrary Graph Topologies via Predictive Coding

• arxiv url: http://arxiv.org/abs/2201.13180v1
• Date: Mon, 31 Jan 2022 12:43:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 17:31:24.720454
• Title: Learning on Arbitrary Graph Topologies via Predictive Coding
• Title（参考訳）: 予測符号化による任意グラフトポロジの学習
• Authors: Tommaso Salvatori, Luca Pinchetti, Beren Millidge, Yuhang Song, Rafal Bogacz, Thomas Lukasiewicz
• Abstract要約: 任意のグラフトポロジで推論と学習を行うために,予測符号化がどのように使用できるかを示す。 我々は、PCグラフと呼ばれるこの定式化が、同じネットワークで異なるタスクを柔軟に実行するためにどのように使用できるかを実験的に示す。
• 参考スコア（独自算出の注目度）: 38.761663028090204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training with backpropagation (BP) in standard deep learning consists of two main steps: a forward pass that maps a data point to its prediction, and a backward pass that propagates the error of this prediction back through the network. This process is highly effective when the goal is to minimize a specific objective function. However, it does not allow training on networks with cyclic or backward connections. This is an obstacle to reaching brain-like capabilities, as the highly complex heterarchical structure of the neural connections in the neocortex are potentially fundamental for its effectiveness. In this paper, we show how predictive coding (PC), a theory of information processing in the cortex, can be used to perform inference and learning on arbitrary graph topologies. We experimentally show how this formulation, called PC graphs, can be used to flexibly perform different tasks with the same network by simply stimulating specific neurons, and investigate how the topology of the graph influences the final performance. We conclude by comparing against simple baselines trained~with~BP.
• Abstract（参考訳）: 標準的なディープラーニングにおけるバックプロパゲーション(BP)によるトレーニングは、データポイントをその予測にマッピングするフォワードパスと、この予測のエラーをネットワーク経由で伝播する後方パスの2つのステップで構成される。 このプロセスは、特定の目的関数を最小化するときに非常に効果的である。 しかし、循環的あるいは後方的接続を持つネットワーク上でのトレーニングは許可されていない。 これは脳のような能力に到達するための障害であり、新皮質の神経接続の非常に複雑な構造は、その効果に基本的な可能性がある。 本稿では,脳皮質における情報処理の理論である予測符号化(pc)が,任意のグラフトポロジ上での推論や学習にどのように役立つかを示す。 我々は,PCグラフと呼ばれるこの定式化が,特定のニューロンを刺激することで,同じネットワーク上で異なるタスクを柔軟に実行し,グラフのトポロジが最終的なパフォーマンスにどのように影響するかを実験的に示す。 結論として,訓練された単純なベースラインとbpとの比較を行った。

関連論文リスト

• Graph Neural Networks Go Forward-Forward [0.0]
  グラフフォワード・フォワード法の拡張であるグラフフォワード・フォワード法(GFF)を提案する。 提案手法はメッセージパッシング方式であり,バックプロパゲーションよりも生物学的に妥当な学習方式を提供する。 11の標準グラフ特性予測タスクの実験を行い、GFFがバックプロパゲーションの効果的な代替手段を提供する方法を示した。
  論文  参考訳（メタデータ） (2023-02-10T14:45:36Z)
• Machine learning of percolation models using graph convolutional neural networks [1.0499611180329804]
  機械学習手法によるパーコレーション閾値の予測は依然として困難である。 我々は、教師なしと教師なしの両方の方法でパーコレーションを研究するために、強力なグラフ畳み込みニューラルネットワークを構築します。
  論文  参考訳（メタデータ） (2022-07-07T15:17:40Z)
• Invertible Neural Networks for Graph Prediction [22.140275054568985]
  本研究では,ディープ・インバーチブル・ニューラルネットワークを用いた条件生成について述べる。 私たちの目標は,前処理と後処理の予測と生成を同時に行うことにあるので,エンドツーエンドのトレーニングアプローチを採用しています。
  論文  参考訳（メタデータ） (2022-06-02T17:28:33Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation? [41.58529335439799]
  ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。 最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。 等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T22:57:03Z)
• Training Graph Neural Networks by Graphon Estimation [2.5997274006052544]
  本稿では,基礎となるネットワークデータから得られたグラフトン推定値から再サンプリングすることで,グラフニューラルネットワークをトレーニングする。 我々のアプローチは競争力があり、多くの場合、他の過度にスムースなGNNトレーニング手法よりも優れています。
  論文  参考訳（メタデータ） (2021-09-04T19:21:48Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。