論文の概要: Think Global, Act Local: Relating DNN generalisation and node-level SNR

• arxiv url: http://arxiv.org/abs/2002.04687v1
• Date: Tue, 11 Feb 2020 21:16:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 02:05:45.372637
• Title: Think Global, Act Local: Relating DNN generalisation and node-level SNR
• Title（参考訳）: グローバル,actローカル:dnnの一般化とノードレベルのsnrとの関連
• Authors: Paul Norridge
• Abstract要約: ネットワーク内のノードのSignal-to-Noise比について検討する。 優れたSNR挙動を示す重み集合の性質を同定し、したがって良い一般化を促進する。 これにより、これらの結果がネットワークトレーニングと正規化にどのように関係するかが議論される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The reasons behind good DNN generalisation remain an open question. In this paper we explore the problem by looking at the Signal-to-Noise Ratio of nodes in the network. Starting from information theory principles, it is possible to derive an expression for the SNR of a DNN node output. Using this expression we construct figures-of-merit that quantify how well the weights of a node optimise SNR (or, equivalently, information rate). Applying these figures-of-merit, we give examples indicating that weight sets that promote good SNR performance also exhibit good generalisation. In addition, we are able to identify the qualities of weight sets that exhibit good SNR behaviour and hence promote good generalisation. This leads to a discussion of how these results relate to network training and regularisation. Finally, we identify some ways that these observations can be used in training design.
• Abstract（参考訳）: 優れたDNNの一般化の背景にある理由は、まだ明らかな疑問である。 本稿では,ネットワーク内のノードの信号対雑音比に着目して問題を検討する。 情報理論の原理から、DNNノード出力のSNR表現を導出することが可能である。 この式を用いて、ノードの重みがSNR(または等価な情報レート)をどれだけよく最適化するかを定量化する。 これらの数値を適用して、良いSNR性能を促進する重み集合が良い一般化を示すことを示す例を示す。 さらに, 優れたSNR挙動を示す重み集合の品質を同定し, 優れた一般化を促進することができる。 これにより、これらの結果がネットワークトレーニングと正規化にどのように関係するかが議論される。 最後に,これらの観察をトレーニング設計に活用する方法を明らかにした。

関連論文リスト

• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization [80.90206641975375]
  本稿では,正規化によるGNNの性能向上に焦点をあてる。 グラフ中のノード次数の長期分布を調べることにより、GNNの新しい正規化法を提案する。 ResNormの$scale$操作は、尾ノードの精度を向上させるために、ノード単位の標準偏差(NStd)分布を再設定する。
  論文  参考訳（メタデータ） (2022-06-16T13:49:09Z)
• Superiority of GNN over NN in generalizing bandlimited functions [6.3151583550712065]
  グラフニューラルネットワーク(GNN)は、さまざまなアプリケーションにまたがってグラフベースの情報を処理するための強力なリソースとして登場した。 本研究では,これらの分類におけるGNNの習熟度について検討する。 以上の結果から,GNNを用いた帯域制限関数を$varepsilon$-errorマージン内で一般化する上で,高い効率性を示した。
  論文  参考訳（メタデータ） (2022-06-13T05:15:12Z)
• A Structured Dictionary Perspective on Implicit Neural Representations [47.35227614605095]
  我々は、ほとんどのINR族が、初期マッピング周波数の集合の整数調和である構造信号辞書に類似していることを示す。 経験的ニューラル・タンジェント・カーネル(NTK)に関する最近の結果を利用したINRの誘導バイアスについて検討する。 この結果から,新しいINRアーキテクチャの設計とチューニングが可能であるが,より広範な深層学習理論コミュニティにも関心が持てる。
  論文  参考訳（メタデータ） (2021-12-03T14:00:52Z)
• Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training data [52.771780951404565]
  Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。 SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
  論文  参考訳（メタデータ） (2021-08-02T18:00:38Z)
• Subgroup Generalization and Fairness of Graph Neural Networks [12.88476464580968]
  非IID半教師付き学習環境下でのGNNに対する新しいPAC-Bayesian解析を提案する。 さらに、理論的な観点から、GNNの精度(dis)パリティスタイル(un)フェアネスについて研究する。
  論文  参考訳（メタデータ） (2021-06-29T16:13:41Z)
• Node2Seq: Towards Trainable Convolutions in Graph Neural Networks [59.378148590027735]
  今回提案するグラフネットワーク層であるNode2Seqは,隣接ノードの重みを明示的に調整可能なノード埋め込みを学習する。 対象ノードに対して,当手法は注意メカニズムを介して隣接ノードをソートし,さらに1D畳み込みニューラルネットワーク(CNN)を用いて情報集約のための明示的な重み付けを行う。 また, 特徴学習のための非局所的情報を, 注意スコアに基づいて適応的に組み込むことを提案する。
  論文  参考訳（メタデータ） (2021-01-06T03:05:37Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)
• Understanding Why Neural Networks Generalize Well Through GSNR of Parameters [11.208337921488207]
  ディープニューラルネットワーク(DNN)の訓練過程におけるパラメータの勾配信号と雑音比(GSNR)について検討する。 トレーニング中にGSNRが大きくなると、より一般化性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-01-21T08:33:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。