Fugu-MT 論文翻訳(概要): A random energy approach to deep learning

論文の概要: A random energy approach to deep learning

arxiv url: http://arxiv.org/abs/2112.09420v1
Date: Fri, 17 Dec 2021 10:31:37 GMT
ステータス: 処理完了
システム内更新日: 2021-12-20 22:08:31.637992
Title: A random energy approach to deep learning
Title（参考訳）: 深層学習へのランダムエネルギーアプローチ
Authors: Rongrong Xie and Matteo Marsili
Abstract要約: 学習中に各層が臨界点に近づいた場合にのみ,可視層から深層への統計的依存が伝播可能であることを示す。効率よく訓練された学習機械はエネルギーレベルが広く分布しているのが特徴です
参考スコア（独自算出の注目度）: 0.09137554315375918
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: We study a generic ensemble of deep belief networks which is parametrized by the distribution of energy levels of the hidden states of each layer. We show that, within a random energy approach, statistical dependence can propagate from the visible to deep layers only if each layer is tuned close to the critical point during learning. As a consequence, efficiently trained learning machines are characterised by a broad distribution of energy levels. The analysis of Deep Belief Networks and Restricted Boltzmann Machines on different datasets confirms these conclusions.
Abstract（参考訳）: 本研究では,各層の隠れた状態のエネルギー準位分布によってパラメータ化される深層信念ネットワークの一般アンサンブルについて検討する。ランダムなエネルギーアプローチでは、学習中に各層が臨界点に近づくように調整された場合にのみ、統計的依存が可視層から深層へと伝播できることが示される。その結果、効率よく訓練された学習機械は、幅広いエネルギーレベルの分布によって特徴づけられる。異なるデータセット上でのDeep Belief NetworksとRestricted Boltzmann Machinesの分析は、これらの結論を裏付けるものである。

関連論文リスト

Impact of network topology on the performance of Decentralized Federated Learning [4.618221836001186]
分散機械学習は、インフラストラクチャの課題とプライバシの懸念に対処し、勢いを増している。本研究では,3つのネットワークトポロジと6つのデータ分散手法を用いて,ネットワーク構造と学習性能の相互作用について検討する。モデル集約時の希釈効果に起因する周辺ノードから中心ノードへの知識伝達の課題を強調した。
論文参考訳（メタデータ） (2024-02-28T11:13:53Z)
Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination [33.273226655730326]
深層線形ネットワークの各層は、幾何速度でクラス内特徴を徐々に圧縮し、線形速度でクラス間特徴を識別することを示す。これは、ディープ線形ネットワークの階層的表現における特徴進化の最初の定量的評価である。
論文参考訳（メタデータ） (2023-11-06T09:00:38Z)
Understanding Deep Neural Networks via Linear Separability of Hidden Layers [68.23950220548417]
まず,ミンコフスキー差分に基づく線形分離性尺度(MD-LSMs)を提案し,2点集合の線形分離性度を評価する。隠れ層出力の線形分離度とネットワークトレーニング性能との間には同期性があることを実証する。
論文参考訳（メタデータ） (2023-07-26T05:29:29Z)
On Feature Diversity in Energy-based Models [98.78384185493624]
エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。 EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
論文参考訳（メタデータ） (2023-06-02T12:30:42Z)
Understanding the Distributions of Aggregation Layers in Deep Neural Networks [8.784438985280092]
集約関数は、よりコンパクトな表現に深い特徴を統合するための重要なメカニズムである。特に、DNNの出力層へのグローバルアグリゲーション層の近接は、集約された特徴がディープネットの性能に直接的な影響を与えることを意味する。本稿では,深い特徴集約に関わるレイヤの出力値の確率分布を解析的にモデル化する,新しい数学的定式化を提案する。
論文参考訳（メタデータ） (2021-07-09T14:23:57Z)
Learning distinct features helps, provably [98.78384185493624]
最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
論文参考訳（メタデータ） (2021-06-10T19:14:45Z)
A Deeper Look at the Hessian Eigenspectrum of Deep Neural Networks and its Applications to Regularization [16.98526336526696]
各層におけるヘッシアンの固有スペクトルを研究することにより、層状損失のランドスケープを研究する。特に, 層状ヘッセン幾何学はヘッセン幾何学の全体とほとんど類似していることが示された。層状ヘッシアンの痕跡に基づく新しい正則化器を提案する。
論文参考訳（メタデータ） (2020-12-07T15:42:44Z)
Discovering hidden layers in quantum graphs [0.0]
波動力学の周波数スペクトルは、追加周波数ピークの形で異なる特徴を表現できることを示す。実際、十分な観測時間で、行正規化隣接行列スペクトルを完全に再構成できることが示される。提案手法を,マルチ層システム,ウェーブパケットシグネチャ法のために改良した機械学習手法と比較した。
論文参考訳（メタデータ） (2020-12-02T19:01:10Z)
Spectral Analysis Network for Deep Representation Learning and Image Clustering [53.415803942270685]
本稿ではスペクトル分析に基づく教師なし深層表現学習のための新しいネットワーク構造を提案する。パッチレベルで画像間の局所的な類似性を識別できるため、閉塞に対してより堅牢である。クラスタリングに親しみやすい表現を学習し、データサンプル間の深い相関を明らかにすることができる。
論文参考訳（メタデータ） (2020-09-11T05:07:15Z)
Hierarchical nucleation in deep neural networks [67.85373725288136]
我々は,いくつかの最先端DCNにおいて,隠れた層にまたがるImageNetデータセットの確率密度の進化について検討した。初期層は, 分類に無関係な構造を排除し, 一様確率密度を生成する。その後の層では、密度ピークは階層的な方法で発生し、概念のセマンティック階層を反映する。
論文参考訳（メタデータ） (2020-07-07T14:42:18Z)
Spatiotemporal Fusion in 3D CNNs: A Probabilistic View [129.84064609199663]
そこで我々は,時間的融合戦略の成功を確率に変換することを提案する。これにより,個別に訓練することなく,様々な融合戦略のネットワークレベルの評価を行うことができる。本手法は時間融合解析の効率を大幅に向上させる。我々は4つの精密な行動認識データセット上で最先端の性能を達成するための新たな融合戦略を生成する。
論文参考訳（メタデータ） (2020-04-10T10:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。