論文の概要: Understanding deep neural networks through the lens of their
non-linearity
- arxiv url: http://arxiv.org/abs/2310.11439v1
- Date: Tue, 17 Oct 2023 17:50:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 14:52:57.299458
- Title: Understanding deep neural networks through the lens of their
non-linearity
- Title(参考訳): 非直線性レンズによるディープニューラルネットワークの理解
- Authors: Quentin Bouniot, Ievgen Redko, Anton Mallasto, Charlotte Laclau, Karol
Arndt, Oliver Struckmeier, Markus Heinonen, Ville Kyrki, Samuel Kaski
- Abstract要約: 本稿では,ディープニューラルネットワークにおける非線形伝搬を追跡するための,最初の理論的に健全な解を提案する。
提案した親和性スコアにより、さまざまなアーキテクチャや学習パラダイムの内部動作に関する洞察を得ることができる。
- 参考スコア(独自算出の注目度): 33.60989015233374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The remarkable success of deep neural networks (DNN) is often attributed to
their high expressive power and their ability to approximate functions of
arbitrary complexity. Indeed, DNNs are highly non-linear models, and activation
functions introduced into them are largely responsible for this. While many
works studied the expressive power of DNNs through the lens of their
approximation capabilities, quantifying the non-linearity of DNNs or of
individual activation functions remains an open problem. In this paper, we
propose the first theoretically sound solution to track non-linearity
propagation in deep neural networks with a specific focus on computer vision
applications. Our proposed affinity score allows us to gain insights into the
inner workings of a wide range of different architectures and learning
paradigms. We provide extensive experimental results that highlight the
practical utility of the proposed affinity score and its potential for
long-reaching applications.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)の顕著な成功は、しばしばその高い表現力と、任意の複雑性の関数を近似する能力に起因している。
実際、DNNは非常に非線形モデルであり、それらに導入されたアクティベーション機能は、主にこれに責任がある。
多くの研究が近似能力のレンズを通してDNNの表現力を研究しているが、DNNの非線形性や個々のアクティベーション関数の定量化は未解決の問題である。
本稿では,深部ニューラルネットワークにおける非線形伝搬をコンピュータビジョンアプリケーションに特化して追跡する,最初の理論的手法を提案する。
提案した親和性スコアにより、さまざまなアーキテクチャや学習パラダイムの内部動作に関する洞察を得ることができる。
提案する親和性スコアの実用性とその長期応用の可能性に注目した広範な実験結果を提供する。
関連論文リスト
- Automated Natural Language Explanation of Deep Visual Neurons with Large
Models [43.178568768100305]
本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。
我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
論文 参考訳(メタデータ) (2023-10-16T17:04:51Z) - Trainability, Expressivity and Interpretability in Gated Neural ODEs [0.0]
本稿では,ニューラルネットワークのキャパシティを探索して複雑なトラジェクトリを生成する,表現性の新たな尺度を提案する。
本研究は,低次元のgnODEがモデリング能力を保ちながら,解釈可能性を大幅に向上することを示す。
また,複数の実世界のタスクにおいて,NODEにおけるゲーティングの利点を示す。
論文 参考訳(メタデータ) (2023-07-12T18:29:01Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳(メタデータ) (2022-09-16T06:36:06Z) - The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。
これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。
このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。
我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文 参考訳(メタデータ) (2022-02-27T23:12:43Z) - Deep Reinforcement Learning with Spiking Q-learning [56.13654667729119]
スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。
SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
論文 参考訳(メタデータ) (2022-01-21T16:42:11Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳(メタデータ) (2021-06-12T13:05:11Z) - A self consistent theory of Gaussian Processes captures feature learning
effects in finite CNNs [2.28438857884398]
無限幅/チャネル制限のディープニューラルネットワーク(DNN)が最近注目を集めている。
理論上の魅力にもかかわらず、この視点は有限DNNにおいて深層学習の重要な要素を欠いている。
ここでは,大きなトレーニングセット上で雑音勾配勾配で訓練されたDNNを考察し,強い有限DNNと特徴学習効果を考慮した自己一貫したガウス過程理論を導出する。
論文 参考訳(メタデータ) (2021-06-08T05:20:00Z) - Analytical aspects of non-differentiable neural networks [0.0]
本稿では、量子化されたニューラルネットワークの表現性と、微分不可能なネットワークに対する近似手法について論じる。
ここでは,QNN が DNN と同じ表現性を持つことを示す。
また,Heaviside型アクティベーション関数を用いて定義されたネットワークについても検討し,スムーズなネットワークによるポイントワイズ近似の結果を証明した。
論文 参考訳(メタデータ) (2020-11-03T17:20:43Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳(メタデータ) (2020-09-24T17:48:59Z) - Operational vs Convolutional Neural Networks for Image Denoising [25.838282412957675]
畳み込みニューラルネットワーク(CNN)は近年,適応学習能力により画像デノナイズ技術として好まれている。
データ変換のコアに新たな非線形性を埋め込むための柔軟性を向上するヘテロジニアスネットワークモデルを提案する。
ONNとCNNの比較評価は、線形演算子に富んだONNが等価かつよく知られた深層構成のCNNに対して優れたノイズ発生性能を達成できるという決定的な証拠が得られる。
論文 参考訳(メタデータ) (2020-09-01T12:15:28Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。