論文の概要: On the Local Complexity of Linear Regions in Deep ReLU Networks

• arxiv url: http://arxiv.org/abs/2412.18283v1
• Date: Tue, 24 Dec 2024 08:42:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:54:29.415256
• Title: On the Local Complexity of Linear Regions in Deep ReLU Networks
• Title（参考訳）: 深部ReLUネットワークにおける線形領域の局所的複雑性について
• Authors: Niket Patel, Guido Montufar,
• Abstract要約: 低次元特徴表現を学習するReLUネットワークは局所的複雑性が低いことを示す。 特に、局所的な複雑性は、入力データ分布上の関数の総変動の上限として機能することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We define the local complexity of a neural network with continuous piecewise linear activations as a measure of the density of linear regions over an input data distribution. We show theoretically that ReLU networks that learn low-dimensional feature representations have a lower local complexity. This allows us to connect recent empirical observations on feature learning at the level of the weight matrices with concrete properties of the learned functions. In particular, we show that the local complexity serves as an upper bound on the total variation of the function over the input data distribution and thus that feature learning can be related to adversarial robustness. Lastly, we consider how optimization drives ReLU networks towards solutions with lower local complexity. Overall, this work contributes a theoretical framework towards relating geometric properties of ReLU networks to different aspects of learning such as feature learning and representation cost.
• Abstract（参考訳）: 入力データ分布上の線形領域の密度の尺度として,連続的な線形活性化を伴うニューラルネットワークの局所的複雑性を定義する。 低次元特徴表現を学習するReLUネットワークは局所的複雑性が低いことを示す。 これにより、重み行列のレベルにおける特徴学習に関する最近の経験的な観察と、学習した関数の具体的な性質を結びつけることができる。 特に, 局所的複雑性は入力データ分布上の関数の総変動の上限として機能し, 特徴学習が対向的ロバスト性と関連していることを示す。 最後に,ReLUネットワークを局所複雑性の低いソリューションに最適化する方法を検討する。 この研究は、ReLUネットワークの幾何学的性質を特徴学習や表現コストといった学習のさまざまな側面に関連付けるための理論的枠組みに貢献する。

関連論文リスト

• Local and global topological complexity measures OF ReLU neural network functions [0.0]
  Grunert-Kuhnel-Rote による Morse 理論のピースワイズ線形(PL) バージョンを適用して、位相的複雑性の新しい局所的および大域的概念を定義し、研究する。 各 F に対して、標準ポリトープ複体 K(F) と領域の K(F) への変形レトラクションを構成し、計算を行うための便利なコンパクトモデルを生成する方法を示す。
  論文  参考訳（メタデータ） (2022-04-12T19:49:13Z)
• The Role of Linear Layers in Nonlinear Interpolating Networks [13.25706838589123]
  我々のフレームワークは、すべて同じキャパシティを持つが、暗黙的に定義された表現コストを持つ、様々な深さのネットワークのファミリーを考察する。 ニューラルネットワークアーキテクチャによって誘導される関数の表現コストは、関数を表現するためにネットワークに必要な2乗重みの最小和である。 この結果から,ReLUネットワークに線形層を追加することで,ReLUユニットのアライメントとスパシティの複雑な相互作用を反映した表現コストが得られることがわかった。
  論文  参考訳（メタデータ） (2022-02-02T02:33:24Z)
• Traversing the Local Polytopes of ReLU Neural Networks: A Unified Approach for Network Verification [6.71092092685492]
  ReLUアクティベーション機能を備えたニューラルネットワーク(NN)は、幅広いアプリケーションで成功している。 頑健さを検証し,解釈可能性を向上させるための従来の研究は,ReLU NNの断片線形関数形式を部分的に活用した。 本稿では,ReLU NNが入力空間で生成する独自のトポロジ構造について検討し,分割した局所ポリトープ間の隣接性を同定する。
  論文  参考訳（メタデータ） (2021-11-17T06:12:39Z)
• An Entropy-guided Reinforced Partial Convolutional Network for Zero-Shot Learning [77.72330187258498]
  エントロピー誘導強化部分畳み込みネットワーク(ERPCNet)を提案する。 ERPCNetは、人間のアノテーションのない意味的関連性と視覚的相関に基づいて、局所性を抽出し、集約する。 グローバルな協力的局所性を動的に発見するだけでなく、ポリシー勾配最適化のためにより高速に収束する。
  論文  参考訳（メタデータ） (2021-11-03T11:13:13Z)
• Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
  我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。 本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
  論文  参考訳（メタデータ） (2021-10-13T09:24:11Z)
• Towards Understanding Theoretical Advantages of Complex-Reaction Networks [77.34726150561087]
  パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。 経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
  論文  参考訳（メタデータ） (2021-08-15T10:13:49Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。