論文の概要: From Alexnet to Transformers: Measuring the Non-linearity of Deep Neural Networks with Affine Optimal Transport

• arxiv url: http://arxiv.org/abs/2310.11439v3
• Date: Mon, 1 Jul 2024 14:39:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 17:40:31.754798
• Title: From Alexnet to Transformers: Measuring the Non-linearity of Deep Neural Networks with Affine Optimal Transport
• Title（参考訳）: AlexnetからTransformersへ:アフィン最適輸送を用いたディープニューラルネットワークの非線形性の測定
• Authors: Quentin Bouniot, Ievgen Redko, Anton Mallasto, Charlotte Laclau, Karol Arndt, Oliver Struckmeier, Markus Heinonen, Ville Kyrki, Samuel Kaski,
• Abstract要約: 本稿では,DNNの非線形性シグネチャの概念を紹介する。これはディープニューラルネットワークの非線形性を測定するための,理論上初めての音響解である。 提案した非線形署名の実用性を明らかにするための実験結果について述べる。
• 参考スコア（独自算出の注目度）: 32.39176908225668
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the last decade, we have witnessed the introduction of several novel deep neural network (DNN) architectures exhibiting ever-increasing performance across diverse tasks. Explaining the upward trend of their performance, however, remains difficult as different DNN architectures of comparable depth and width -- common factors associated with their expressive power -- may exhibit a drastically different performance even when trained on the same dataset. In this paper, we introduce the concept of the non-linearity signature of DNN, the first theoretically sound solution for approximately measuring the non-linearity of deep neural networks. Built upon a score derived from closed-form optimal transport mappings, this signature provides a better understanding of the inner workings of a wide range of DNN architectures and learning paradigms, with a particular emphasis on the computer vision task. We provide extensive experimental results that highlight the practical usefulness of the proposed non-linearity signature and its potential for long-reaching implications. The code for our work is available at https://github.com/qbouniot/AffScoreDeep
• Abstract（参考訳）: 過去10年間で、さまざまなタスクにまたがる継続的なパフォーマンスを示す、いくつかの新しいディープニューラルネットワーク(DNN)アーキテクチャが導入されたのを目撃しました。 しかし、そのパフォーマンスの上昇傾向を説明することは、同じデータセットでトレーニングされた場合でも、同等の深さと幅の異なるDNNアーキテクチャ(表現力に関連する一般的な要因)が大幅に異なるパフォーマンスを示すため、依然として困難である。 本稿では,DNNの非線形性シグネチャの概念を紹介する。 クローズドフォームの最適トランスポートマッピングから得られるスコアに基づいて構築されたこのシグネチャは、コンピュータビジョンタスクに特に重点を置いて、幅広いDNNアーキテクチャと学習パラダイムの内部動作をよりよく理解する。 提案した非線形署名の実用的有用性と長期的影響の可能性を明らかにするための広範な実験結果を提供する。 私たちの作業のコードはhttps://github.com/qbouniot/AffScoreDeepで公開されています。

関連論文リスト

• Unveiling the Unseen: Identifiable Clusters in Trained Depthwise Convolutional Kernels [56.69755544814834]
  深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、新しいアーキテクチャをもたらす。 本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。
  論文  参考訳（メタデータ） (2024-01-25T19:05:53Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• On the Application of Data-Driven Deep Neural Networks in Linear and Nonlinear Structural Dynamics [28.979990729816638]
  線形および非線形構造力学系のサロゲートとしてディープニューラルネットワーク(DNN)モデルを用いる。 焦点は、完全に接続された、疎結合で、畳み込みネットワーク層を使った効率的なネットワークアーキテクチャの開発である。 提案したDNNは,高調波負荷下での線形および非線形動的応答の予測に有効かつ正確なサロゲートとして利用できることを示す。
  論文  参考訳（メタデータ） (2021-11-03T13:22:19Z)
• A novel Deep Neural Network architecture for non-linear system identification [78.69776924618505]
  非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。 メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。 このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
  論文  参考訳（メタデータ） (2021-06-06T10:06:07Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Operational vs Convolutional Neural Networks for Image Denoising [25.838282412957675]
  畳み込みニューラルネットワーク(CNN)は近年,適応学習能力により画像デノナイズ技術として好まれている。 データ変換のコアに新たな非線形性を埋め込むための柔軟性を向上するヘテロジニアスネットワークモデルを提案する。 ONNとCNNの比較評価は、線形演算子に富んだONNが等価かつよく知られた深層構成のCNNに対して優れたノイズ発生性能を達成できるという決定的な証拠が得られる。
  論文  参考訳（メタデータ） (2020-09-01T12:15:28Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Constructing Deep Neural Networks with a Priori Knowledge of Wireless Tasks [37.060397377445504]
  無線タスクに広く存在する2種類の置換不変性は、モデルパラメータの数を減らすために利用することができる。 可変DNN (permutation invariant DNN) と呼ばれる特性を満たす入出力関係を持つDNNの特殊構造を求める。 予測資源配分と干渉調整を例として,教師なし・教師なし学習による最適政策学習にPINNをいかに活用できるかを示す。
  論文  参考訳（メタデータ） (2020-01-29T08:54:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。