論文の概要: Neural Anisotropy Directions

• arxiv url: http://arxiv.org/abs/2006.09717v2
• Date: Wed, 14 Oct 2020 10:21:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 19:07:06.814232
• Title: Neural Anisotropy Directions
• Title（参考訳）: 神経異方性方向
• Authors: Guillermo Ortiz-Jimenez, Apostolos Modas, Seyed-Mohsen Moosavi-Dezfooli, Pascal Frossard
• Abstract要約: 我々は、アーキテクチャの方向性誘導バイアスをカプセル化するベクトルとして、神経異方性方向(NAD)を定義する。 CIFAR-10データセットでは、NADはCNNが異なるクラス間で識別するために使用する特徴を特徴付ける。
• 参考スコア（独自算出の注目度）: 63.627760598441796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we analyze the role of the network architecture in shaping the inductive bias of deep classifiers. To that end, we start by focusing on a very simple problem, i.e., classifying a class of linearly separable distributions, and show that, depending on the direction of the discriminative feature of the distribution, many state-of-the-art deep convolutional neural networks (CNNs) have a surprisingly hard time solving this simple task. We then define as neural anisotropy directions (NADs) the vectors that encapsulate the directional inductive bias of an architecture. These vectors, which are specific for each architecture and hence act as a signature, encode the preference of a network to separate the input data based on some particular features. We provide an efficient method to identify NADs for several CNN architectures and thus reveal their directional inductive biases. Furthermore, we show that, for the CIFAR-10 dataset, NADs characterize the features used by CNNs to discriminate between different classes.
• Abstract（参考訳）: 本研究では,深層分類器の帰納的バイアス形成におけるネットワークアーキテクチャの役割を分析する。 この目的のために我々は,線形分離可能な分布のクラスを分類する,非常に単純な問題に注目し,分布の判別的特徴の方向に応じて,この単純な課題を解決するのに多くの最先端の深層畳み込みニューラルネットワーク(cnns)が驚くほど困難であることを示す。 次に、アーキテクチャの方向性誘導バイアスをカプセル化するベクトルを神経異方性方向(NAD)と定義する。 これらのベクトルは各アーキテクチャに特有であり、それゆえシグネチャとして振る舞うが、特定の特徴に基づいて入力データを分離するネットワークの好みを符号化する。 いくつかのCNNアーキテクチャにおいてNADを効率よく同定し,その方向誘導バイアスを明らかにする方法を提案する。 さらに、CIFAR-10データセットでは、NADはCNNが異なるクラス間で識別するために使用する特徴を特徴付ける。

関連論文リスト

• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• Exploring Learned Representations of Neural Networks with Principal Component Analysis [1.0923877073891446]
  ある層では、高い精度の分類には中間的特徴空間分散の20%しか必要としない。 本研究は神経崩壊と相関し, 中間神経崩壊の関連現象の部分的証拠を提供する。
  論文  参考訳（メタデータ） (2023-09-27T00:18:25Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Predictions Based on Pixel Data: Insights from PDEs and Finite Differences [0.0]
  本稿では,各観測が行列である時間列の近似を扱う。 比較的小さなネットワークでは、直線法に基づいて、PDEの数値的な離散化のクラスを正確に表現できることが示される。 我々のネットワークアーキテクチャは、典型的に時系列の近似に採用されているものから着想を得ている。
  論文  参考訳（メタデータ） (2023-05-01T08:54:45Z)
• Towards Rigorous Understanding of Neural Networks via Semantics-preserving Transformations [0.0]
  本稿では,Rectifier Neural Networksの正確かつグローバルな検証と説明に対するアプローチを提案する。 我々のアプローチの鍵は、意味論的に等価なTyped Affine Decision Structureの構築を可能にする、これらのネットワークのシンボリック実行である。
  論文  参考訳（メタデータ） (2023-01-19T11:35:07Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Dynamical systems' based neural networks [0.7874708385247353]
  我々は、適切な、構造保存、数値的な時間分散を用いてニューラルネットワークを構築する。 ニューラルネットワークの構造は、ODEベクトル場の特性から推定される。 2つの普遍近似結果を示し、ニューラルネットワークに特定の特性を課す方法を示す。
  論文  参考訳（メタデータ） (2022-10-05T16:30:35Z)
• Discretization Invariant Networks for Learning Maps between Neural Fields [3.09125960098955]
  離散化不変ニューラルネットワーク(DI-Net)の理解と設計のための新しいフレームワークを提案する。 我々の分析は、異なる有限離散化の下でのモデル出力の偏差の上限を確立する。 構成により、DI-Netsは可積分函数空間間の大きな写像のクラスを普遍的に近似することが証明される。
  論文  参考訳（メタデータ） (2022-06-02T17:44:03Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
  ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。 NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。 その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
  論文  参考訳（メタデータ） (2020-03-30T08:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。