論文の概要: Neural Anisotropy Directions
- arxiv url: http://arxiv.org/abs/2006.09717v2
- Date: Wed, 14 Oct 2020 10:21:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 19:07:06.814232
- Title: Neural Anisotropy Directions
- Title(参考訳): 神経異方性方向
- Authors: Guillermo Ortiz-Jimenez, Apostolos Modas, Seyed-Mohsen
Moosavi-Dezfooli, Pascal Frossard
- Abstract要約: 我々は、アーキテクチャの方向性誘導バイアスをカプセル化するベクトルとして、神経異方性方向(NAD)を定義する。
CIFAR-10データセットでは、NADはCNNが異なるクラス間で識別するために使用する特徴を特徴付ける。
- 参考スコア(独自算出の注目度): 63.627760598441796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we analyze the role of the network architecture in shaping the
inductive bias of deep classifiers. To that end, we start by focusing on a very
simple problem, i.e., classifying a class of linearly separable distributions,
and show that, depending on the direction of the discriminative feature of the
distribution, many state-of-the-art deep convolutional neural networks (CNNs)
have a surprisingly hard time solving this simple task. We then define as
neural anisotropy directions (NADs) the vectors that encapsulate the
directional inductive bias of an architecture. These vectors, which are
specific for each architecture and hence act as a signature, encode the
preference of a network to separate the input data based on some particular
features. We provide an efficient method to identify NADs for several CNN
architectures and thus reveal their directional inductive biases. Furthermore,
we show that, for the CIFAR-10 dataset, NADs characterize the features used by
CNNs to discriminate between different classes.
- Abstract(参考訳): 本研究では,深層分類器の帰納的バイアス形成におけるネットワークアーキテクチャの役割を分析する。
この目的のために我々は,線形分離可能な分布のクラスを分類する,非常に単純な問題に注目し,分布の判別的特徴の方向に応じて,この単純な課題を解決するのに多くの最先端の深層畳み込みニューラルネットワーク(cnns)が驚くほど困難であることを示す。
次に、アーキテクチャの方向性誘導バイアスをカプセル化するベクトルを神経異方性方向(NAD)と定義する。
これらのベクトルは各アーキテクチャに特有であり、それゆえシグネチャとして振る舞うが、特定の特徴に基づいて入力データを分離するネットワークの好みを符号化する。
いくつかのCNNアーキテクチャにおいてNADを効率よく同定し,その方向誘導バイアスを明らかにする方法を提案する。
さらに、CIFAR-10データセットでは、NADはCNNが異なるクラス間で識別するために使用する特徴を特徴付ける。
関連論文リスト
- Exploring Learned Representations of Neural Networks with Principal
Component Analysis [1.0923877073891446]
ある層では、高い精度の分類には中間的特徴空間分散の20%しか必要としない。
本研究は神経崩壊と相関し, 中間神経崩壊の関連現象の部分的証拠を提供する。
論文 参考訳(メタデータ) (2023-09-27T00:18:25Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Predictions Based on Pixel Data: Insights from PDEs and Finite
Differences [0.0]
本稿では,行列や高次テンソルが各観測値を表すシーケンス近似タスクについて述べる。
PDEの時空間偏差から生じる系列を近似すると,比較的小さなネットワークが用いられる可能性がある。
離散畳み込み演算子と有限差分演算子との間の接続を利用して、これらの結果を構成的に導出する。
論文 参考訳(メタデータ) (2023-05-01T08:54:45Z) - Towards Rigorous Understanding of Neural Networks via
Semantics-preserving Transformations [0.0]
本稿では,Rectifier Neural Networksの正確かつグローバルな検証と説明に対するアプローチを提案する。
我々のアプローチの鍵は、意味論的に等価なTyped Affine Decision Structureの構築を可能にする、これらのネットワークのシンボリック実行である。
論文 参考訳(メタデータ) (2023-01-19T11:35:07Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳(メタデータ) (2022-11-21T15:27:22Z) - Dynamical systems' based neural networks [0.7874708385247353]
我々は、適切な、構造保存、数値的な時間分散を用いてニューラルネットワークを構築する。
ニューラルネットワークの構造は、ODEベクトル場の特性から推定される。
2つの普遍近似結果を示し、ニューラルネットワークに特定の特性を課す方法を示す。
論文 参考訳(メタデータ) (2022-10-05T16:30:35Z) - Discretization Invariant Networks for Learning Maps between Neural
Fields [3.09125960098955]
離散化不変ニューラルネットワーク(DI-Net)の理解と設計のための新しいフレームワークを提案する。
我々の分析は、異なる有限離散化の下でのモデル出力の偏差の上限を確立する。
構成により、DI-Netsは可積分函数空間間の大きな写像のクラスを普遍的に近似することが証明される。
論文 参考訳(メタデータ) (2022-06-02T17:44:03Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Discrete-Valued Neural Communication [85.3675647398994]
コンポーネント間で伝達される情報を離散表現に制限することは、有益なボトルネックであることを示す。
個人は「猫」が特定の経験に基づいて何であるかについて異なる理解を持っているが、共有された離散トークンは、個人間のコミュニケーションが内部表現の個人差によって切り離されることを可能にする。
我々は、量子化機構をベクトル量子化変分オートコーダから共有符号ブックによる多頭部離散化に拡張し、離散値ニューラル通信に利用する。
論文 参考訳(メタデータ) (2021-07-06T03:09:25Z) - Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。
NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。
その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
論文 参考訳(メタデータ) (2020-03-30T08:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。