Fugu-MT 論文翻訳(概要): Towards Theoretical Analysis of Transformation Complexity of ReLU DNNs

論文の概要: Towards Theoretical Analysis of Transformation Complexity of ReLU DNNs

arxiv url: http://arxiv.org/abs/2205.01940v1
Date: Wed, 4 May 2022 08:23:04 GMT
ステータス: 処理完了
システム内更新日: 2022-05-05 13:32:10.958651
Title: Towards Theoretical Analysis of Transformation Complexity of ReLU DNNs
Title（参考訳）: ReLU DNNの変換複雑性の理論解析に向けて
Authors: Jie Ren, Mingjie Li, Meng Zhou, Shih-Han Chan, Quanshi Zhang
Abstract要約: 本稿では,情報理論に基づく3種類の変換の複雑さを測定する指標を提案する。提案手法を用いて,学習過程における変換複雑性の変化の2つの典型的な現象を解析した。
参考スコア（独自算出の注目度）: 30.977633145016924
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper aims to theoretically analyze the complexity of feature transformations encoded in DNNs with ReLU layers. We propose metrics to measure three types of complexities of transformations based on the information theory. We further discover and prove the strong correlation between the complexity and the disentanglement of transformations. Based on the proposed metrics, we analyze two typical phenomena of the change of the transformation complexity during the training process, and explore the ceiling of a DNN's complexity. The proposed metrics can also be used as a loss to learn a DNN with the minimum complexity, which also controls the over-fitting level of the DNN and influences adversarial robustness, adversarial transferability, and knowledge consistency. Comprehensive comparative studies have provided new perspectives to understand the DNN.
Abstract（参考訳）: 本稿では,ReLU層を持つDNNで符号化された特徴変換の複雑さを理論的に解析することを目的とする。情報理論に基づく変換の3種類の複雑度を測定するためのメトリクスを提案する。さらに, 複雑性と変換の絡み合いとの間に強い相関関係を見いだし, 証明する。提案手法に基づいて,学習過程における変換複雑性の変化の典型的な2つの現象を分析し,DNNの複雑さの天井を探索する。提案手法は,DNNの過度な適合レベルを制御し,対向的堅牢性,対向的伝達性,知識の整合性に影響を与えるため,最小限の複雑さでDNNを学習する損失としても使用できる。総合的な比較研究は、DNNを理解するための新しい視点を提供した。

関連論文リスト

Mutation-Bias Learning in Games [1.743685428161914]
本稿では,進化ゲーム理論に基づくマルチエージェント強化学習アルゴリズムの2つの変種について述べる。 1つの変種は、レプリケータ・ミューテータ力学系の常微分方程式系との関係を証明できる。より複雑なバリエーションは、Q-ラーニングベースのアルゴリズムとの比較を可能にする。
論文参考訳（メタデータ） (2024-05-28T14:02:44Z)
Inducing Systematicity in Transformers by Attending to Structurally Quantized Embeddings [60.698130703909804]
トランスフォーマーは、複雑なデータセットでトレーニングされた後、構造と実体の新規な構成に一般化する。本稿では,SQ-Transformerを提案する。 SQ-Transformerは,複数の低複雑さ意味解析および機械翻訳データセット上で,バニラ変換器よりも強い構成一般化を実現することを示す。
論文参考訳（メタデータ） (2024-02-09T15:53:15Z)
Affine Invariance in Continuous-Domain Convolutional Neural Networks [6.019182604573028]
本研究では,連続領域畳み込みニューラルネットワークにおけるアフィン不変性について検討する。アフィン変換における2つの入力信号の類似性を評価するための新しい基準を導入する。私たちの研究は最終的には、実用的なディープラーニングパイプラインが扱える幾何学的変換の範囲を広げることができます。
論文参考訳（メタデータ） (2023-11-13T14:17:57Z)
Unsupervised Learning of Invariance Transformations [105.54048699217668]
近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
論文参考訳（メタデータ） (2023-07-24T17:03:28Z)
Transformed Low-Rank Parameterization Can Help Robust Generalization for Tensor Neural Networks [32.87980654923361]
Tenor Singular Value Decomposition (t-SVD)はマルチチャネルデータ表現において大きな成功を収めた。 t-SVDがt-NNの学習行動に理論的にどう影響するかはまだ不明である。本論文は、標準および逆向きに訓練されたt-NNの一般化誤差の上限を導出することにより、この問題に最初に答えるものである。
論文参考訳（メタデータ） (2023-03-01T03:05:40Z)
Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural Networks on Coupled Ordinary Differential Equations [64.78260098263489]
本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。 PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。 PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
論文参考訳（メタデータ） (2022-10-14T15:01:32Z)
On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文参考訳（メタデータ） (2022-06-21T09:42:30Z)
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文参考訳（メタデータ） (2022-05-11T17:43:54Z)
Convolutional Neural Network Interpretability with General Pattern Theory [0.0]
ディープニューラルネットワーク(DNN)の解釈性の向上には、説明可能な使用量の増加、アルゴリズムのメンテナンスの改善、改善など、実用的なメリットがある。我々は、Ulf Grenanderによって定式化されたパターン理論を用いることを提案する。 U-Netのような構造はResNetに拡張ブロック(EB)をアタッチすることで形成され、セマンティックセグメンテーションのようなタスクを実行できる。
論文参考訳（メタデータ） (2021-02-05T07:11:48Z)
Inter-layer Information Similarity Assessment of Deep Neural Networks Via Topological Similarity and Persistence Analysis of Data Neighbour Dynamics [93.4221402881609]
ディープニューラルネットワーク(DNN)による情報構造の定量的解析により、DNNアーキテクチャの理論的性能に関する新たな知見が明らかにされる。量的情報構造解析のためのLSとIDの戦略に着想を得て, 層間情報類似度評価のための2つの新しい補完手法を提案する。本研究では,画像データを用いた深層畳み込みニューラルネットワークのアーキテクチャ解析を行い,その効果を実証する。
論文参考訳（メタデータ） (2020-12-07T15:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。