論文の概要: Understanding deep neural networks through the lens of their non-linearity

• arxiv url: http://arxiv.org/abs/2310.11439v1
• Date: Tue, 17 Oct 2023 17:50:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 14:52:57.299458
• Title: Understanding deep neural networks through the lens of their non-linearity
• Title（参考訳）: 非直線性レンズによるディープニューラルネットワークの理解
• Authors: Quentin Bouniot, Ievgen Redko, Anton Mallasto, Charlotte Laclau, Karol Arndt, Oliver Struckmeier, Markus Heinonen, Ville Kyrki, Samuel Kaski
• Abstract要約: 本稿では,ディープニューラルネットワークにおける非線形伝搬を追跡するための,最初の理論的に健全な解を提案する。 提案した親和性スコアにより、さまざまなアーキテクチャや学習パラダイムの内部動作に関する洞察を得ることができる。
• 参考スコア（独自算出の注目度）: 33.60989015233374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The remarkable success of deep neural networks (DNN) is often attributed to their high expressive power and their ability to approximate functions of arbitrary complexity. Indeed, DNNs are highly non-linear models, and activation functions introduced into them are largely responsible for this. While many works studied the expressive power of DNNs through the lens of their approximation capabilities, quantifying the non-linearity of DNNs or of individual activation functions remains an open problem. In this paper, we propose the first theoretically sound solution to track non-linearity propagation in deep neural networks with a specific focus on computer vision applications. Our proposed affinity score allows us to gain insights into the inner workings of a wide range of different architectures and learning paradigms. We provide extensive experimental results that highlight the practical utility of the proposed affinity score and its potential for long-reaching applications.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の顕著な成功は、しばしばその高い表現力と、任意の複雑性の関数を近似する能力に起因している。 実際、DNNは非常に非線形モデルであり、それらに導入されたアクティベーション機能は、主にこれに責任がある。 多くの研究が近似能力のレンズを通してDNNの表現力を研究しているが、DNNの非線形性や個々のアクティベーション関数の定量化は未解決の問題である。 本稿では,深部ニューラルネットワークにおける非線形伝搬をコンピュータビジョンアプリケーションに特化して追跡する,最初の理論的手法を提案する。 提案した親和性スコアにより、さまざまなアーキテクチャや学習パラダイムの内部動作に関する洞察を得ることができる。 提案する親和性スコアの実用性とその長期応用の可能性に注目した広範な実験結果を提供する。

関連論文リスト

• Unveiling the Unseen: Identifiable Clusters in Trained Depthwise Convolutional Kernels [56.69755544814834]
  深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、新しいアーキテクチャをもたらす。 本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。
  論文  参考訳（メタデータ） (2024-01-25T19:05:53Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• On the Application of Data-Driven Deep Neural Networks in Linear and Nonlinear Structural Dynamics [28.979990729816638]
  線形および非線形構造力学系のサロゲートとしてディープニューラルネットワーク(DNN)モデルを用いる。 焦点は、完全に接続された、疎結合で、畳み込みネットワーク層を使った効率的なネットワークアーキテクチャの開発である。 提案したDNNは,高調波負荷下での線形および非線形動的応答の予測に有効かつ正確なサロゲートとして利用できることを示す。
  論文  参考訳（メタデータ） (2021-11-03T13:22:19Z)
• A novel Deep Neural Network architecture for non-linear system identification [78.69776924618505]
  非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。 メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。 このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
  論文  参考訳（メタデータ） (2021-06-06T10:06:07Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Operational vs Convolutional Neural Networks for Image Denoising [25.838282412957675]
  畳み込みニューラルネットワーク(CNN)は近年,適応学習能力により画像デノナイズ技術として好まれている。 データ変換のコアに新たな非線形性を埋め込むための柔軟性を向上するヘテロジニアスネットワークモデルを提案する。 ONNとCNNの比較評価は、線形演算子に富んだONNが等価かつよく知られた深層構成のCNNに対して優れたノイズ発生性能を達成できるという決定的な証拠が得られる。
  論文  参考訳（メタデータ） (2020-09-01T12:15:28Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Constructing Deep Neural Networks with a Priori Knowledge of Wireless Tasks [37.060397377445504]
  無線タスクに広く存在する2種類の置換不変性は、モデルパラメータの数を減らすために利用することができる。 可変DNN (permutation invariant DNN) と呼ばれる特性を満たす入出力関係を持つDNNの特殊構造を求める。 予測資源配分と干渉調整を例として,教師なし・教師なし学習による最適政策学習にPINNをいかに活用できるかを示す。
  論文  参考訳（メタデータ） (2020-01-29T08:54:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。