論文の概要: Neural Network Layer Algebra: A Framework to Measure Capacity and Compression in Deep Learning

• arxiv url: http://arxiv.org/abs/2107.01081v1
• Date: Fri, 2 Jul 2021 13:43:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-05 12:47:31.647159
• Title: Neural Network Layer Algebra: A Framework to Measure Capacity and Compression in Deep Learning
• Title（参考訳）: ニューラルネットワーク層代数:ディープラーニングにおけるキャパシティと圧縮を測定するフレームワーク
• Authors: Alberto Badias and Ashis Banerjee
• Abstract要約: 本稿では,(深度)ニューラルネットワークの内在特性を測定するための新しい枠組みを提案する。 畳み込みネットワークに重点を置いている間、我々のフレームワークはどんなネットワークアーキテクチャにも外挿できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a new framework to measure the intrinsic properties of (deep) neural networks. While we focus on convolutional networks, our framework can be extrapolated to any network architecture. In particular, we evaluate two network properties, namely, capacity (related to expressivity) and compression, both of which depend only on the network structure and are independent of the training and test data. To this end, we propose two metrics: the first one, called layer complexity, captures the architectural complexity of any network layer; and, the second one, called layer intrinsic power, encodes how data is compressed along the network. The metrics are based on the concept of layer algebra, which is also introduced in this paper. This concept is based on the idea that the global properties depend on the network topology, and the leaf nodes of any neural network can be approximated using local transfer functions, thereby, allowing a simple computation of the global metrics. We also compare the properties of the state-of-the art architectures using our metrics and use the properties to analyze the classification accuracy on benchmark datasets.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの内在特性を測定するための新しい枠組みを提案する。 畳み込みネットワークにフォーカスしながら、我々のフレームワークはどんなネットワークアーキテクチャにも外挿できる。 特に,ネットワーク構造のみに依存し,トレーニングやテストデータに依存しない,キャパシティ(表現性に関連する)と圧縮の2つの特性を評価した。 この目的のために、第1のメトリクスは、レイヤ複雑性と呼ばれ、任意のネットワーク層のアーキテクチャ上の複雑さを捉え、第2のメトリクスは、レイヤ固有のパワーと呼ばれ、ネットワークに沿ってデータを圧縮する方法を符号化する。 メトリクスは、この論文で紹介された層代数の概念に基づいている。 この概念は、グローバルなプロパティがネットワークトポロジに依存し、任意のニューラルネットワークの葉ノードを局所的な転送関数で近似できるという考えに基づいており、グローバルなメトリクスの簡単な計算を可能にしている。 また,我々の測定値を用いて最先端アーキテクチャの特性を比較し,その特性を用いてベンチマークデータセットの分類精度を解析した。

関連論文リスト

• On Characterizing the Evolution of Embedding Space of Neural Networks using Algebraic Topology [9.537910170141467]
  特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。 深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
  論文  参考訳（メタデータ） (2023-11-08T10:45:12Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [49.808194368781095]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• Modularity Optimization as a Training Criterion for Graph Neural Networks [2.903711704663904]
  グラフ畳み込みモデルにおけるネットワークのコミュニティ構造保存目的を組み込んだ学習表現の質に及ぼす効果について検討する。 2つの属性付きビビログラフィーネットワークの実験的評価により、コミュニティ保存目的の組み入れにより、スパースラベル方式における半教師付きノード分類精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-30T21:32:33Z)
• Investigating Neural Architectures by Synthetic Dataset Design [14.317837518705302]
  近年、多くの新しいニューラルネットワーク構造(アーキテクチャと層)が出現している。 アドホックな合成データセットを設計することにより,各構造がネットワーク能力に与える影響を測定する手法をスケッチする。 本稿では,以下の3つのネットワーク特性のそれぞれを評価するために,3つのデータセットを構築した手法について述べる。
  論文  参考訳（メタデータ） (2022-04-23T10:50:52Z)
• Dive into Layers: Neural Network Capacity Bounding using Algebraic Geometry [55.57953219617467]
  ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。 入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。 実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
  論文  参考訳（メタデータ） (2021-09-03T11:45:51Z)
• Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition [77.95361323613147]
  現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。 本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。 本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
  論文  参考訳（メタデータ） (2021-03-31T08:15:17Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。