論文の概要: The Mean Dimension of Neural Networks -- What causes the interaction effects?

• arxiv url: http://arxiv.org/abs/2207.04890v1
• Date: Mon, 11 Jul 2022 14:00:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-12 18:30:02.889120
• Title: The Mean Dimension of Neural Networks -- What causes the interaction effects?
• Title（参考訳）: ニューラルネットワークの平均次元 -- 相互作用効果の原因は何か?
• Authors: Roman Hahn, Christoph Feinauer, Emanuele Borgonovo
• Abstract要約: Owen氏とHoyt氏は先日、この有効次元が、人工ニューラルネットワークの基盤となる入出力マッピングに関する重要な構造情報を提供することを示した。 本研究は,与えられたデータセットからの平均次元を計算可能な推定手順を提案する。
• 参考スコア（独自算出の注目度）: 0.9208007322096533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Owen and Hoyt recently showed that the effective dimension offers key structural information about the input-output mapping underlying an artificial neural network. Along this line of research, this work proposes an estimation procedure that allows the calculation of the mean dimension from a given dataset, without resampling from external distributions. The design yields total indices when features are independent and a variant of total indices when features are correlated. We show that this variant possesses the zero independence property. With synthetic datasets, we analyse how the mean dimension evolves layer by layer and how the activation function impacts the magnitude of interactions. We then use the mean dimension to study some of the most widely employed convolutional architectures for image recognition (LeNet, ResNet, DenseNet). To account for pixel correlations, we propose calculating the mean dimension after the addition of an inverse PCA layer that allows one to work on uncorrelated PCA-transformed features, without the need to retrain the neural network. We use the generalized total indices to produce heatmaps for post-hoc explanations, and we employ the mean dimension on the PCA-transformed features for cross comparisons of the artificial neural networks structures. Results provide several insights on the difference in magnitude of interactions across the architectures, as well as indications on how the mean dimension evolves during training.
• Abstract（参考訳）: Owen氏とHoyt氏は先日、この有効次元が、人工ニューラルネットワークの基盤となる入出力マッピングに関する重要な構造情報を提供することを示した。 本研究は, 外部分布から再サンプリングすることなく, 与えられたデータセットからの平均次元を計算できる推定手法を提案する。 この設計は、特徴が独立であるときの総指標と、特徴が相関しているときの総指標の変種を生成する。 この変異がゼロ独立性を持つことを示す。 合成データセットを用いて、平均次元が層ごとにどのように発展し、活性化関数が相互作用の大きさに与える影響を分析する。 次に、平均次元を用いて、画像認識に最も広く用いられている畳み込みアーキテクチャ(LeNet、ResNet、DenseNet)を研究します。 そこで,画素相関を考慮した逆pca層の追加により,ニューラルネットワークをリトレーニングすることなく,非相関なpca変換特徴を処理できる平均次元の算出を提案する。 一般化された全指標を用いて、ポストホックな説明のためのヒートマップを作成し、PCA変換された特徴の平均次元を用いて、人工ニューラルネットワーク構造の相互比較を行う。 結果は、アーキテクチャ間の相互作用の大きさの違いに関する洞察と、トレーニング中に平均次元がどのように進化するかを示す。

関連論文リスト

• Measuring Feature Dependency of Neural Networks by Collapsing Feature Dimensions in the Data Manifold [18.64569268049846]
  ニューラルネットワークモデルの特徴依存性を測定するための新しい手法を提案する。 その動機は、人間が理解可能な機能から情報を使っているかどうかを問うことによって、モデルをよりよく理解することにある。 本手法は,合成画像データに基づいて学習した深層ニューラルネットワークモデルを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-04-18T17:10:18Z)
• Average gradient outer product as a mechanism for deep neural collapse [26.939895223897572]
  Deep Neural Collapse (DNC)は、Deep Neural Networks (DNN)の最終層におけるデータ表現の驚くほど硬い構造を指す。 本研究では,平均勾配外積(AGOP)を通した特徴学習によりDNCが生成するデータ依存環境を提案する。 本稿では,各層で計算されたAGOP行列による投影の結果,DNCがDeep Recursive Feature Machinesで発生することを理論的,実証的に実証する。
  論文  参考訳（メタデータ） (2024-02-21T11:40:27Z)
• Task structure and nonlinearity jointly determine learned representational geometry [0.0]
  本稿では,Tanhネットワークが対象出力の構造を反映した表現を学習する傾向を示し,ReLUネットワークは生入力の構造についてより多くの情報を保持することを示した。 我々の研究結果は、入力出力幾何学、非線形性、ニューラルネットワークにおける学習表現との相互作用に光を当てた。
  論文  参考訳（メタデータ） (2024-01-24T16:14:38Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Neural Eigenfunctions Are Structured Representation Learners [93.53445940137618]
  本稿ではニューラル固有写像という,構造化された適応長の深部表現を提案する。 本稿では,データ拡張設定における正の関係から固有関数が導出される場合,NeuralEFを適用することで目的関数が得られることを示す。 画像検索システムにおいて,適応長符号のような表現を用いることを実証する。
  論文  参考訳（メタデータ） (2022-10-23T07:17:55Z)
• Decomposing neural networks as mappings of correlation functions [57.52754806616669]
  本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。 ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
  論文  参考訳（メタデータ） (2022-02-10T09:30:31Z)
• The Role of Linear Layers in Nonlinear Interpolating Networks [13.25706838589123]
  我々のフレームワークは、すべて同じキャパシティを持つが、暗黙的に定義された表現コストを持つ、様々な深さのネットワークのファミリーを考察する。 ニューラルネットワークアーキテクチャによって誘導される関数の表現コストは、関数を表現するためにネットワークに必要な2乗重みの最小和である。 この結果から,ReLUネットワークに線形層を追加することで,ReLUユニットのアライメントとスパシティの複雑な相互作用を反映した表現コストが得られることがわかった。
  論文  参考訳（メタデータ） (2022-02-02T02:33:24Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Augmented Parallel-Pyramid Net for Attention Guided Pose-Estimation [90.28365183660438]
  本稿では、注意部分モジュールと微分可能な自動データ拡張を備えた拡張並列ピラミドネットを提案する。 我々は、データ拡張のシーケンスをトレーニング可能なCNNコンポーネントとして定式化する新しいポーズ検索空間を定義する。 特に,本手法は,挑戦的なCOCOキーポイントベンチマークとMPIIデータセットの最先端結果において,トップ1の精度を実現する。
  論文  参考訳（メタデータ） (2020-03-17T03:52:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。