論文の概要: Different Spectral Representations in Optimized Artificial Neural Networks and Brains

• arxiv url: http://arxiv.org/abs/2208.10576v1
• Date: Mon, 22 Aug 2022 20:13:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-24 12:49:37.714548
• Title: Different Spectral Representations in Optimized Artificial Neural Networks and Brains
• Title（参考訳）: 最適化されたニューラルネットワークと脳における異なるスペクトル表現
• Authors: Richard C. Gerum, Cassidy Pirlot, Alona Fyshe, Joel Zylberberg
• Abstract要約: より大きなパワー(約2～3)は、より高い検証精度と高密度ネットワークに対する敵攻撃に対する堅牢性をもたらすことを示す。 畳み込みネットワークの場合、最高の$alpha$値はタスクの複雑さと評価基準に依存する。
• 参考スコア（独自算出の注目度）: 2.213723689024101
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Recent studies suggest that artificial neural networks (ANNs) that match the spectral properties of the mammalian visual cortex -- namely, the $\sim 1/n$ eigenspectrum of the covariance matrix of neural activities -- achieve higher object recognition performance and robustness to adversarial attacks than those that do not. To our knowledge, however, no previous work systematically explored how modifying the ANN's spectral properties affects performance. To fill this gap, we performed a systematic search over spectral regularizers, forcing the ANN's eigenspectrum to follow $1/n^\alpha$ power laws with different exponents $\alpha$. We found that larger powers (around 2--3) lead to better validation accuracy and more robustness to adversarial attacks on dense networks. This surprising finding applied to both shallow and deep networks and it overturns the notion that the brain-like spectrum (corresponding to $\alpha \sim 1$) always optimizes ANN performance and/or robustness. For convolutional networks, the best $\alpha$ values depend on the task complexity and evaluation metric: lower $\alpha$ values optimized validation accuracy and robustness to adversarial attack for networks performing a simple object recognition task (categorizing MNIST images of handwritten digits); for a more complex task (categorizing CIFAR-10 natural images), we found that lower $\alpha$ values optimized validation accuracy whereas higher $\alpha$ values optimized adversarial robustness. These results have two main implications. First, they cast doubt on the notion that brain-like spectral properties ($\alpha \sim 1$) \emph{always} optimize ANN performance. Second, they demonstrate the potential for fine-tuned spectral regularizers to optimize a chosen design metric, i.e., accuracy and/or robustness.
• Abstract（参考訳）: 最近の研究では、哺乳類の視覚野のスペクトル特性、すなわち神経活動の共分散行列の$\sim 1/n$固有スペクトルと一致する人工ニューラルネットワーク(ANN)が、敵の攻撃に対する高い物体認識性能と堅牢性を達成することが示唆されている。 しかし、我々の知る限り、ANNのスペクトル特性の修正がパフォーマンスに与える影響を体系的に検討する以前の研究は行われていない。 このギャップを埋めるために、我々はスペクトル正規化器を体系的に探索し、ANNの固有スペクトルは異なる指数を持つ1/n^\alpha$の電力法に従うことを強制した。 より大きなパワー(約2～3)は、高密度ネットワークに対する敵攻撃に対する検証精度の向上とロバスト性の向上に繋がることがわかった。 この驚くべき発見は、浅層ネットワークと深層ネットワークの両方に適用され、脳に似たスペクトル($\alpha \sim 1$に相当する)がANNのパフォーマンスと堅牢性を常に最適化するという考えを覆す。 低$\alpha$値 最適化された検証精度と、簡単なオブジェクト認識タスクを実行するネットワークに対する敵意攻撃に対する堅牢性(手書き桁のmnist画像の分類) より複雑なタスク(cifar-10自然画像の分類)については、より低い$\alpha$値 最適化された検証精度 より高い$\alpha$値 最適化された敵意ロバスト性(英語版)が得られた。 これらの結果は2つの主な意味を持つ。 まず、脳のようなスペクトル特性(\alpha \sim 1$) \emph{always} annのパフォーマンスを最適化するという考えに疑問を投げかけた。 第二に、微調整されたスペクトル正規化器が選択した設計メトリック、すなわち精度と/またはロバスト性を最適化する可能性を示す。

関連論文リスト

• How Can Deep Neural Networks Fail Even With Global Optima? [0.0]
  浅いニューラルネットワークの表現力は、簡単なトリックを使って、どんな深さのネットワークにも拡張する。 我々は、グローバルな最適性があるにもかかわらず、分類や関数近似の問題で未だにうまく機能しない、非常に過度に適合するディープニューラルネットワークを構築している。
  論文  参考訳（メタデータ） (2024-07-23T22:44:57Z)
• A Coefficient Makes SVRG Effective [55.104068027239656]
  SVRG (Variance Reduced Gradient) は理論的に説得力のある最適化手法である。 本研究では,実世界のニューラルネットワークを最適化するSVRGの可能性を示す。 分析の結果,より深いネットワークでは,SVRGの分散低減項の強度は,トレーニングが進むにつれて小さくなり,低下することが明らかとなった。
  論文  参考訳（メタデータ） (2023-11-09T18:47:44Z)
• Automotive Object Detection via Learning Sparse Events by Spiking Neurons [20.930277906912394]
  スパイキングニューラルネットワーク(SNN)は、本質的にイベントベースのデータと整合した時間的表現を提供する。 自動車のイベントベース物体検出に最適化された特化スパイキング特徴ピラミッドネットワーク(SpikeFPN)を提案する。
  論文  参考訳（メタデータ） (2023-07-24T15:47:21Z)
• Inability of a graph neural network heuristic to outperform greedy algorithms in solving combinatorial optimization problems like Max-Cut [0.0]
  Nature Machine Intelligence 4, 367 (2022) において、Schuetzらは、様々な古典的なNPハード最適化問題を解決するためにニューラルネットワーク(GNN)を使用するスキームを提供している。 ネットワークがサンプルインスタンス上でどのようにトレーニングされているかを説明し、その結果のGNNは、広く使われているテクニックを適用して、その成功の可能性を判断する。 しかし, より綿密な検査により, このGNNの報告結果は勾配降下率よりもわずかに優れており, グリーディアルゴリズムにより性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2022-10-02T20:50:33Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Towards Alternative Techniques for Improving Adversarial Robustness: Analysis of Adversarial Training at a Spectrum of Perturbations [5.18694590238069]
  逆行訓練(AT)とその変種は、逆行性摂動に対するニューラルネットワークの堅牢性を改善する進歩を先導している。 私たちは、$epsilon$の値のスペクトルに基づいてトレーニングされたモデルに焦点を当てています。 ATの代替改善は、そうでなければ1ドル(約1万2000円)も出なかったでしょう。
  論文  参考訳（メタデータ） (2022-06-13T22:01:21Z)
• Learning Contextual Bandits Through Perturbed Rewards [107.6210145983805]
  標準正規性条件下では、$tildeO(tildedsqrtT)$ regret上界が達成可能であることを示す。 明示的な探索の必要性を排除するために、ニューラルネットワークを更新する際の報酬を混乱させます。
  論文  参考訳（メタデータ） (2022-01-24T19:10:22Z)
• Task and Model Agnostic Adversarial Attack on Graph Neural Networks [8.075575946756759]
  グラフニューラルネットワーク(GNN)は、様々な予測タスクにおける印象的なパフォーマンスのため、業界内で大きな採用が見られた。 本研究では、GNNのこの側面を調査し、脆弱性を特定し、よりセキュアで堅牢なGNNの開発につながる可能性のあるグラフプロパティにリンクする。
  論文  参考訳（メタデータ） (2021-12-25T18:39:21Z)
• Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
  畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。 本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。 最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
  論文  参考訳（メタデータ） (2021-08-16T03:58:00Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。