論文の概要: On Privileged and Convergent Bases in Neural Network Representations

• arxiv url: http://arxiv.org/abs/2307.12941v1
• Date: Mon, 24 Jul 2023 17:11:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 13:34:09.907048
• Title: On Privileged and Convergent Bases in Neural Network Representations
• Title（参考訳）: ニューラルネットワーク表現における特権基底と収束基底について
• Authors: Davis Brown, Nikhil Vyas, Yamini Bansal
• Abstract要約: WideResNetsのような広帯域ネットワークにおいても、ニューラルネットワークは独自の基盤に収束しないことを示す。 また,ベース相関の尺度として研究されている線形モード接続性の解析を行った。
• 参考スコア（独自算出の注目度）: 7.888192939262696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we investigate whether the representations learned by neural networks possess a privileged and convergent basis. Specifically, we examine the significance of feature directions represented by individual neurons. First, we establish that arbitrary rotations of neural representations cannot be inverted (unlike linear networks), indicating that they do not exhibit complete rotational invariance. Subsequently, we explore the possibility of multiple bases achieving identical performance. To do this, we compare the bases of networks trained with the same parameters but with varying random initializations. Our study reveals two findings: (1) Even in wide networks such as WideResNets, neural networks do not converge to a unique basis; (2) Basis correlation increases significantly when a few early layers of the network are frozen identically. Furthermore, we analyze Linear Mode Connectivity, which has been studied as a measure of basis correlation. Our findings give evidence that while Linear Mode Connectivity improves with increased network width, this improvement is not due to an increase in basis correlation.
• Abstract（参考訳）: 本研究では,ニューラルネットワークが学習した表現が特権的かつ収束的な基盤を持つかどうかを検討する。 具体的には、個々のニューロンで表される特徴方向の重要性を検討する。 まず,神経表現の任意の回転は(線形ネットワークとは異なり)反転できないことを証明し,完全な回転不変性は示さないことを示した。 その後、同一性能を達成するために複数のベースの可能性を探る。 これを実現するために、同じパラメータで訓練されたネットワークのベースと、異なるランダム初期化を比較する。 本研究は,(1)ワイドレスネットのような広帯域ネットワークにおいても,ニューラルネットワークは独自の基盤に収束せず,(2)ネットワークの初期層が同一に凍結された場合,基底相関は著しく増大することを示す。 さらに,ベース相関の尺度として研究されている線形モード接続性の解析を行った。 線形モード接続性はネットワーク幅の増大とともに向上するが,この改善はベース相関の増大によるものではないことを示す。

関連論文リスト

• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• Deep Neural Networks Can Learn Generalizable Same-Different Visual Relations [22.205838756057314]
  我々は、ディープニューラルネットワークが、分布内と分布外の両方において、同じ微分関係を取得および一般化できるかどうかを検討する。 ある事前学習された変換器は、ほぼ完全な精度で分布外刺激に一般化する同じ微分関係を学習できる。
  論文  参考訳（メタデータ） (2023-10-14T16:28:57Z)
• Decorrelating neurons using persistence [29.25969187808722]
  2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。 ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。 正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
  論文  参考訳（メタデータ） (2023-08-09T11:09:14Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Similarity and Matching of Neural Network Representations [0.0]
  我々は、深層ニューラルネットワークにおける表現の類似性を分析するために、Frankenstein博士と呼ばれるツールセットを使用します。 我々は、2つのトレーニングニューラルネットワークの与えられた層上でのアクティベーションを、縫合層で結合することで一致させることを目指している。
  論文  参考訳（メタデータ） (2021-10-27T17:59:46Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Convergence Analysis of Over-parameterized Deep Linear Networks, and the Principal Components Bias [14.46779433267854]
  畳み込みニューラルネットワークは同じ順序で画像を分類することを学ぶ。 我々は,PCバイアスが線形ネットワークと非線形ネットワークの両方の学習順序を合理化することを示す。
  論文  参考訳（メタデータ） (2021-05-12T10:08:42Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。