論文の概要: Singular Value Representation: A New Graph Perspective On Neural Networks

• arxiv url: http://arxiv.org/abs/2302.08183v1
• Date: Thu, 16 Feb 2023 10:10:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-17 14:26:32.517641
• Title: Singular Value Representation: A New Graph Perspective On Neural Networks
• Title（参考訳）: 特異値表現:ニューラルネットワークの新しいグラフパースペクティブ
• Authors: Dan Meller and Nicolas Berkouk
• Abstract要約: ニューラルネットワークの内部状態を表現するための新しい手法であるSVR(Singular Value Representation)を導入する。 完全連結層と畳み込み層に対するスペクトルニューロン間の有意義な接続を識別するための正確な統計的枠組みを導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce the Singular Value Representation (SVR), a new method to represent the internal state of neural networks using SVD factorization of the weights. This construction yields a new weighted graph connecting what we call spectral neurons, that correspond to specific activation patterns of classical neurons. We derive a precise statistical framework to discriminate meaningful connections between spectral neurons for fully connected and convolutional layers. To demonstrate the usefulness of our approach for machine learning research, we highlight two discoveries we made using the SVR. First, we highlight the emergence of a dominant connection in VGG networks that spans multiple deep layers. Second, we witness, without relying on any input data, that batch normalization can induce significant connections between near-kernels of deep layers, leading to a remarkable spontaneous sparsification phenomenon.
• Abstract（参考訳）: 重みのSVD因子化を用いてニューラルネットワークの内部状態を表現するための新しい手法であるSVR(Singular Value Representation)を導入する。 この構成は、古典的ニューロンの特定の活性化パターンに対応するスペクトルニューロンと接続する新しい重み付きグラフを生み出す。 完全連結層と畳み込み層に対するスペクトルニューロン間の有意義な接続を識別するための正確な統計的枠組みを導出する。 機械学習研究におけるアプローチの有用性を示すために,SVRを用いた2つの発見に注目した。 まず、複数の深い層にまたがるVGGネットワークにおける支配的な接続の出現を強調する。 第二に、入力データに頼らずに、バッチ正規化が深い層同士の密接なつながりを誘発し、驚くべき自発的スパーシフィケーション現象を引き起こすことを目撃する。

関連論文リスト

• Theoretical characterisation of the Gauss-Newton conditioning in Neural Networks [5.851101657703105]
  ニューラルネットワークにおけるガウスニュートン行列(GN)の条件付けを理論的に特徴付けるための第一歩を踏み出す。 我々は、任意の深さと幅の深い線形ネットワークにおいて、GNの条件数に厳密な境界を確立する。 残りの接続や畳み込み層といったアーキテクチャコンポーネントに分析を拡張します。
  論文  参考訳（メタデータ） (2024-11-04T14:56:48Z)
• Decorrelating neurons using persistence [29.25969187808722]
  2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。 ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。 正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
  論文  参考訳（メタデータ） (2023-08-09T11:09:14Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• DualHGNN: A Dual Hypergraph Neural Network for Semi-Supervised Node Classification based on Multi-View Learning and Density Awareness [3.698434507617248]
  グラフに基づく半教師付きノード分類は、研究価値と重要性の高い多くのアプリケーションにおいて最先端のアプローチであることが示されている。 本稿では、ハイパーグラフ構造学習とハイパーグラフ表現学習を同時に統合した新しいデュアル接続モデルであるデュアルハイパーグラフニューラルネットワーク(DualHGNN)を提案する。
  論文  参考訳（メタデータ） (2023-06-07T07:40:04Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Visual Attention Emerges from Recurrent Sparse Reconstruction [82.78753751860603]
  本稿では,人間の視覚的注意機構の2つの特徴,すなわち再発と空間性に基づく新しい注意形態について述べる。 自己注意は単一ステップの最適化と空間制約のないVARSの特殊な場合であることを示す。 VARSは、一般的な視覚変換器における自己注意の代替として容易に利用でき、様々なベンチマークでその堅牢性を一貫して改善することができる。
  論文  参考訳（メタデータ） (2022-04-23T00:35:02Z)
• Improving Neural Predictivity in the Visual Cortex with Gated Recurrent Connections [0.0]
  我々は,腹側視覚ストリームのユビキタスな特徴である横方向のリカレント接続を考慮したアーキテクチャに焦点を移し,適応的受容場を創出することを目指している。 本研究は,我々のアプローチの堅牢性と活性化の生物学的忠実性を高めるために,特定のデータ拡張技術を用いている。
  論文  参考訳（メタデータ） (2022-03-22T17:27:22Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Geometry Perspective Of Estimating Learning Capability Of Neural Networks [0.0]
  本稿では,勾配勾配勾配を用いた最小二乗回帰(SGD)を一般化したニューラルネットワークの幅広いクラスについて考察する。 一般化能力とニューラルネットワークの安定性との関係についても論じている。 ニューラルネットワークの学習理論と高エネルギー物理の原理を関連付けることにより,人工ニューラルネットワークの観点からの複雑性・摩擦予想の変種を確立する。
  論文  参考訳（メタデータ） (2020-11-03T12:03:19Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。