論文の概要: A Johnson--Lindenstrauss Framework for Randomly Initialized CNNs

• arxiv url: http://arxiv.org/abs/2111.02155v1
• Date: Wed, 3 Nov 2021 11:46:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-04 14:28:06.081855
• Title: A Johnson--Lindenstrauss Framework for Randomly Initialized CNNs
• Title（参考訳）: ランダム初期化CNNのためのJohnson-Lindenstraussフレームワーク
• Authors: Ido Nachum, Jan H\k{a}z{\l}a, Michael Gastpar, Anatoly Khina
• Abstract要約: ジョンソン・リンデンシュトラウス補題は、二つの入力の間の角度が保存されていることを示す。 一方、ReLUアクティベーションを持つCNNでは、その振舞いはよりリッチであり、収縮のレベルは入力の性質に依存する。 特に、自然画像の幾何学は本質的に保存されているが、ガウス相関入力の場合、CNNはReLUアクティベーションを持つFNNと同じ収縮挙動を示す。
• 参考スコア（独自算出の注目度）: 19.83175263379622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How does the geometric representation of a dataset change after the application of each randomly initialized layer of a neural network? The celebrated Johnson--Lindenstrauss lemma answers this question for linear fully-connected neural networks (FNNs), stating that the geometry is essentially preserved. For FNNs with the ReLU activation, the angle between two inputs contracts according to a known mapping. The question for non-linear convolutional neural networks (CNNs) becomes much more intricate. To answer this question, we introduce a geometric framework. For linear CNNs, we show that the Johnson--Lindenstrauss lemma continues to hold, namely, that the angle between two inputs is preserved. For CNNs with ReLU activation, on the other hand, the behavior is richer: The angle between the outputs contracts, where the level of contraction depends on the nature of the inputs. In particular, after one layer, the geometry of natural images is essentially preserved, whereas for Gaussian correlated inputs, CNNs exhibit the same contracting behavior as FNNs with ReLU activation.
• Abstract（参考訳）: ニューラルネットワークの各ランダム初期化層の適用後、データセットの幾何表現はどのように変化するのか? 有名なjohnson-lindenstrauss lemmaは、線形完全連結ニューラルネットワーク(fnn)に関するこの疑問に答え、幾何学は本質的に保存されていると述べた。 ReLUアクティベーションを持つFNNでは、2つの入力間の角度は既知のマッピングに従って収縮する。 非線形畳み込みニューラルネットワーク(CNN)の問題はさらに複雑になる。 この質問に答えるために、幾何学的枠組みを紹介する。 線形CNNに対しては、ジョンソン-リンデンシュトラウス補題が引き続き保持され、すなわち、2つの入力間の角度が保存されていることを示す。 reluアクティベーションを持つcnnの場合、その挙動はより豊かである:出力間の角度は収縮し、そこでは収縮のレベルは入力の性質に依存する。 特に、ある層の後、自然画像の幾何学は本質的に保存され、ガウス相関入力の場合、cnnはreluアクティベーションを持つfnnと同じ収縮挙動を示す。

関連論文リスト

• Investigating Sparsity in Recurrent Neural Networks [0.0]
  本論文は, プルーニングとスパースリカレントニューラルネットワークがRNNの性能に与える影響を考察することに焦点を当てる。 まず,RNNの刈り込み,RNNの性能への影響,および刈り込み後の精度回復に必要な訓練エポック数について述べる。 次に、スパースリカレントニューラルネットワークの作成と訓練を継続し、その基礎となる任意の構造の性能とグラフ特性の関係を同定する。
  論文  参考訳（メタデータ） (2024-07-30T07:24:58Z)
• CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
  蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。 Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
  論文  参考訳（メタデータ） (2024-04-23T08:19:08Z)
• Deep Regression Ensembles [0.0]
  我々は、ディープ・ニューラルネットワーク(DNN)を設計し、訓練するための方法論を導入し、「ディープ・レグレッション・アンサンブル(Deep Regression Ensembles)」と呼ぶ。 ランダムな特徴回帰でトレーニングされたDNNと2層ニューラルネットワークのギャップを埋める。 我々の実験は、単一のDREアーキテクチャが多くのデータセットにおいて最先端のDNNと同等かそれ以上であることを示している。
  論文  参考訳（メタデータ） (2022-03-10T15:13:46Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• Disentangling deep neural networks with rectified linear units using duality [4.683806391173103]
  線形整流ユニット(ReLU)を用いたディープニューラルネットワーク(DNN)の解釈可能な新しい実装を提案する。 我々は、大域プールとスキップ接続との畳み込みが、それぞれ回転不変性とアンサンブル構造をニューラルパスカーネル(NPK)にもたらすことを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:51:59Z)
• Fully Spiking Variational Autoencoder [66.58310094608002]
  スパイキングニューラルネットワーク(SNN)は、超高速で超低エネルギー消費のニューロモルフィックデバイス上で動作することができる。 本研究では,SNNを用いた可変オートエンコーダ(VAE)を構築し,画像生成を実現する。
  論文  参考訳（メタデータ） (2021-09-26T06:10:14Z)
• Shape-Tailored Deep Neural Networks [87.55487474723994]
  ST-DNN(Shape-Tailored Deep Neural Networks)の紹介 ST-DNNは、固定形状(正方形)の近傍からデータを集約する畳み込みネットワーク(CNN)を拡張し、任意形状の領域で定義された記述子を計算する。 ST-DNNが3〜4桁小さく、CNNがセグメンテーションに使用されることを示しています。
  論文  参考訳（メタデータ） (2021-02-16T23:32:14Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Graph Neural Networks: Architectures, Stability and Transferability [176.3960927323358]
  グラフニューラルネットワーク(GNN)は、グラフでサポートされている信号のための情報処理アーキテクチャである。 これらは、個々の層がグラフ畳み込みフィルタのバンクを含む畳み込みニューラルネットワーク(CNN)の一般化である。
  論文  参考訳（メタデータ） (2020-08-04T18:57:36Z)
• Fractional Deep Neural Network via Constrained Optimization [0.0]
  本稿では,ディープニューラルネットワーク(DNN)のための新しいアルゴリズムフレームワークを提案する。 Fractional-DNNは、時間非線形常微分方程式(ODE)における分数の時間差分化と見なすことができる。
  論文  参考訳（メタデータ） (2020-04-01T21:58:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。