論文の概要: Joint Diffusion Processes as an Inductive Bias in Sheaf Neural Networks

• arxiv url: http://arxiv.org/abs/2407.20597v1
• Date: Tue, 30 Jul 2024 07:17:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 18:09:21.264034
• Title: Joint Diffusion Processes as an Inductive Bias in Sheaf Neural Networks
• Title（参考訳）: せん断ニューラルネットワークにおける誘導バイアスとしての関節拡散過程
• Authors: Ferran Hernandez Caralt, Guillermo Bernárdez Gil, Iulia Duta, Pietro Liò, Eduard Alarcón Cot,
• Abstract要約: せん断ニューラルネットワーク(SNN)は自然にグラフニューラルネットワーク(GNN)を拡張する 構造図をより直感的に理解するための2つの新しいせん断学習手法を提案する。 評価では,これまでのSNNで使用されている実世界のベンチマークの限界を示す。
• 参考スコア（独自算出の注目度）: 14.224234978509026
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Sheaf Neural Networks (SNNs) naturally extend Graph Neural Networks (GNNs) by endowing a cellular sheaf over the graph, equipping nodes and edges with vector spaces and defining linear mappings between them. While the attached geometric structure has proven to be useful in analyzing heterophily and oversmoothing, so far the methods by which the sheaf is computed do not always guarantee a good performance in such settings. In this work, drawing inspiration from opinion dynamics concepts, we propose two novel sheaf learning approaches that (i) provide a more intuitive understanding of the involved structure maps, (ii) introduce a useful inductive bias for heterophily and oversmoothing, and (iii) infer the sheaf in a way that does not scale with the number of features, thus using fewer learnable parameters than existing methods. In our evaluation, we show the limitations of the real-world benchmarks used so far on SNNs, and design a new synthetic task -- leveraging the symmetries of n-dimensional ellipsoids -- that enables us to better assess the strengths and weaknesses of sheaf-based models. Our extensive experimentation on these novel datasets reveals valuable insights into the scenarios and contexts where SNNs in general -- and our proposed approaches in particular -- can be beneficial.
• Abstract（参考訳）: シーフニューラルネットワーク(SNN)は、グラフ上にセル層を付与し、ノードとエッジにベクトル空間を設け、それらの間の線形マッピングを定義することによって、グラフニューラルネットワーク(GNN)を自然に拡張する。 付着した幾何学構造はヘテロフィリー解析や過度な平滑化解析に有用であることが証明されているが、今のところ、棚が計算される手法は必ずしもそのような設定で良い性能を保証していない。 本研究では、意見力学の概念からインスピレーションを得た2つの新しい棚学習手法を提案する。 (i)関連する構造図のより直感的な理解を提供する。 二 ヘテロフィリー及び過度なスムージングに有用な誘導バイアスを導入すること、及び 三 既存手法に比べて学習可能なパラメータが少ないため、特徴数に応じてスケールしない方法で棚を推定すること。 評価では,これまでにSNNで使用されている実世界のベンチマークの限界を示し,n次元エリプシドの対称性を活用した新しい合成タスクを設計することにより,せん断モデルの性能と弱点をよりよく評価することができる。 これらの新しいデータセットに関する大規模な実験は、SNN全般、特に提案されたアプローチが有益なシナリオとコンテキストに関する貴重な洞察を明らかにします。

関連論文リスト

• Deep Neural Networks via Complex Network Theory: a Perspective [3.1023851130450684]
  ディープニューラルネットワーク(DNN)は、リンクと頂点が反復的にデータを処理し、タスクを亜最適に解くグラフとして表現することができる。複雑なネットワーク理論(CNT)は、統計物理学とグラフ理論を融合させ、その重みとニューロン構造を分析してニューラルネットワークを解釈する方法を提供する。 本研究では,DNNのトレーニング分布から抽出した測定値を用いて既存のCNTメトリクスを拡張し,純粋なトポロジカル解析からディープラーニングの解釈可能性へ移行する。
  論文  参考訳（メタデータ） (2024-04-17T08:42:42Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Over-parameterised Shallow Neural Networks with Asymmetrical Node Scaling: Global Convergence Guarantees and Feature Learning [23.47570704524471]
  我々は,各隠れノードの出力を正のパラメータでスケールする勾配流による大規模および浅層ニューラルネットワークの最適化を検討する。 大規模なニューラルネットワークでは、高い確率で勾配流がグローバルな最小限に収束し、NTK体制とは異なり、特徴を学習できることを実証する。
  論文  参考訳（メタデータ） (2023-02-02T10:40:06Z)
• Experimental Observations of the Topology of Convolutional Neural Network Activations [2.4235626091331737]
  トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。 ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。 本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
  論文  参考訳（メタデータ） (2022-12-01T02:05:44Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Sheaf Neural Networks with Connection Laplacians [3.3414557160889076]
  シーフニューラルネットワーク(英: Sheaf Neural Network、略称:SNN)は、グラフニューラルネットワークの一種で、グラフにノードとエッジにベクトル空間とそれらの空間の間の線形写像を割り当てるオブジェクトである。 それまでの研究では、ドメイン知識に基づいたシーフを手作業で構築することと、勾配に基づく手法によるシーフエンドツーエンドの学習という2つのダイメトリックなアプローチが提案されていた。 本研究ではリーマン幾何学から着想を得た新しい計算方法を提案する。 提案手法は,従来のSNNモデルと比較して計算オーバーヘッドが少なく,有望な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-17T11:39:52Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Neural Structured Prediction for Inductive Node Classification [29.908759584092167]
  本稿では,ラベル付き学習グラフのモデルを学習し,未ラベルの試験グラフ上でノードラベルを推論するために一般化することを目的とした,帰納的環境におけるノード分類について検討する。 本稿では,両者の利点を組み合わせたSPN(Structured Proxy Network)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-04-15T15:50:27Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。