論文の概要: Entropy Maximization with Depth: A Variational Principle for Random Neural Networks

• arxiv url: http://arxiv.org/abs/2205.13076v1
• Date: Wed, 25 May 2022 23:00:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-28 08:23:15.274973
• Title: Entropy Maximization with Depth: A Variational Principle for Random Neural Networks
• Title（参考訳）: 深さによるエントロピー最大化:ランダムニューラルネットワークの変分原理
• Authors: Amir Joudaki, Hadi Daneshmand, Francis Bach
• Abstract要約: バッチ正規化を組み込んだランダムニューラルネットワークは、最大で定数要素の深さを持つ表現の微分エントロピーを最大化する。 我々のニューラル表現の変分定式化は、表現エントロピーとアーキテクチャコンポーネント間の相互作用を特徴付ける。
• 参考スコア（独自算出の注目度）: 1.864159622659575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To understand the essential role of depth in neural networks, we investigate a variational principle for depth: Does increasing depth perform an implicit optimization for the representations in neural networks? We prove that random neural networks equipped with batch normalization maximize the differential entropy of representations with depth up to constant factors, assuming that the representations are contractive. Thus, representations inherently obey the \textit{principle of maximum entropy} at initialization, in the absence of information about the learning task. Our variational formulation for neural representations characterizes the interplay between representation entropy and architectural components, including depth, width, and non-linear activations, thereby potentially inspiring the design of neural architectures.
• Abstract（参考訳）: ニューラルネットワークにおける深みの役割を理解するために、深みの増大はニューラルネットワークにおける表現を暗黙的に最適化するのだろうか? バッチ正規化を具備したランダムニューラルネットワークは、表現が収縮的であると仮定して、深さが一定な表現の差分エントロピーを最大化する。 したがって、表現は学習タスクに関する情報がない場合、初期化時に \textit{principle of maximum entropy} に従う。 我々のニューラル表現の変分定式化は、表現エントロピーと、深さ、幅、非線形のアクティベーションを含むアーキテクチャコンポーネントとの相互作用を特徴付け、ニューラルアーキテクチャの設計を刺激する可能性がある。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• On the Approximation and Complexity of Deep Neural Networks to Invariant Functions [0.0]
  深部ニューラルネットワークの不変関数への近似と複雑性について検討する。 様々なタイプのニューラルネットワークモデルにより、幅広い不変関数を近似できることを示す。 我々は,高分解能信号のパラメータ推定と予測を理論的結論と結びつけることが可能なアプリケーションを提案する。
  論文  参考訳（メタデータ） (2022-10-27T09:19:19Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Training Integrable Parameterizations of Deep Neural Networks in the Infinite-Width Limit [0.0]
  大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。 2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。 この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
  論文  参考訳（メタデータ） (2021-10-29T07:53:35Z)
• Neural Network Gaussian Processes by Increasing Depth [0.6091702876917281]
  ニューラルネットワークの深さの増大はガウス過程を引き起こす可能性があることを示す。 また、理論的には、その一様強み特性と、関連するカーネルの最小固有値も特徴付ける。 これらの特徴付けは、提案された深さ誘起ガウス過程の理解を深めるだけでなく、将来の応用への道を開くことができる。
  論文  参考訳（メタデータ） (2021-08-29T15:37:26Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Depth-Width Trade-offs for Neural Networks via Topological Entropy [0.0]
  本稿では,深部ニューラルネットワークの表現性と力学系からのトポロジカルエントロピーとの新たな関連性を示す。 位相エントロピー,振動数,周期,リプシッツ定数の関係について論じる。
  論文  参考訳（メタデータ） (2020-10-15T08:14:44Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。