論文の概要: Bayesian Sheaf Neural Networks

• arxiv url: http://arxiv.org/abs/2410.09590v1
• Date: Sat, 12 Oct 2024 16:46:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 13:35:29.829605
• Title: Bayesian Sheaf Neural Networks
• Title（参考訳）: Bayesian Sheaf Neural Networks
• Authors: Patrick Gillespie, Vasileios Maroulas, Ioannis Schizas,
• Abstract要約: セルラー層で定義された畳み込み操作によるグラフニューラルネットワークの取得は、異種グラフデータの表現表現を学習する上での利点を提供する。 本稿では, せん断ニューラルネットワーク内での細胞シーブの学習に, ベイズ型せん断ニューラルネットワークと呼ぶアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 1.0992151305603266
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Equipping graph neural networks with a convolution operation defined in terms of a cellular sheaf offers advantages for learning expressive representations of heterophilic graph data. The most flexible approach to constructing the sheaf is to learn it as part of the network as a function of the node features. However, this leaves the network potentially overly sensitive to the learned sheaf. As a counter-measure, we propose a variational approach to learning cellular sheaves within sheaf neural networks, yielding an architecture we refer to as a Bayesian sheaf neural network. As part of this work, we define a novel family of reparameterizable probability distributions on the rotation group $SO(n)$ using the Cayley transform. We evaluate the Bayesian sheaf neural network on several graph datasets, and show that our Bayesian sheaf models outperform deterministic sheaf models when training data is limited, and are less sensitive to the choice of hyperparameters.
• Abstract（参考訳）: セルラー層で定義された畳み込み操作によるグラフニューラルネットワークの取得は、異種グラフデータの表現表現を学習する上での利点を提供する。 層を構築するための最も柔軟なアプローチは、ノード機能の関数としてネットワークの一部としてそれを学ぶことである。 しかし、これによってネットワークは学習した棚に過度に敏感になる可能性がある。 対策として,せん断ニューラルネットワーク内の細胞層を学習し,ベイズ型せん断ニューラルネットワーク(Bayesian sheaf Neural Network)と呼ぶアーキテクチャを提案する。 この研究の一環として、ケイリー変換を用いて回転群 $SO(n)$ 上の再パラメータ化可能な確率分布の新しい族を定義する。 いくつかのグラフデータセット上でベイズ層ニューラルネットワークを評価し,トレーニングデータに制限がある場合,ベイズ層モデルは決定論的層モデルよりも優れ,ハイパーパラメータの選択に敏感でないことを示す。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Robust Generalization of Quadratic Neural Networks via Function Identification [19.87036824512198]
  一般化は、テスト分布がトレーニング分布に近いと仮定することが多い。 2次ニューラルネットワークでは、パラメータを特定できないにもかかわらず、モデルで表される関数を識別できることが示される。
  論文  参考訳（メタデータ） (2021-09-22T18:02:00Z)
• Optimal Approximation with Sparse Neural Networks and Applications [0.0]
  深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。 また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。 次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
  論文  参考訳（メタデータ） (2021-08-14T05:14:13Z)
• Bayesian Neural Networks: Essentials [0.6091702876917281]
  複雑なため、ベイズニューラルネットワークを理解し、設計し、訓練するのは簡単ではない。 ディープニューラルネットワークは、多数の連続するレイヤの不確実性を考慮するために、冗長でコストがかかる。 ハイブリッドベイズニューラルネットワーク(英語版)は、ネットワーク内に法的に位置する確率的層がほとんどないが、実用的な解決策を提供する。
  論文  参考訳（メタデータ） (2021-06-22T13:54:17Z)
• Fast Adaptation with Linearized Neural Networks [35.43406281230279]
  ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。 この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。 この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
  論文  参考訳（メタデータ） (2021-03-02T03:23:03Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。