論文の概要: Partial local entropy and anisotropy in deep weight spaces

• arxiv url: http://arxiv.org/abs/2007.09091v3
• Date: Tue, 6 Apr 2021 10:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 13:30:51.582798
• Title: Partial local entropy and anisotropy in deep weight spaces
• Title（参考訳）: 重み空間における部分局所エントロピーと異方性
• Authors: Daniele Musso
• Abstract要約: 我々は、最近提案された局所エントロピー損失関数のクラスを、平滑化正規化をウェイトの部分集合に限定することで洗練する。 新しい損失関数は部分局所エントロピーと呼ばれ、重み空間の異方性に適応し、等方性に優れる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We refine a recently-proposed class of local entropic loss functions by restricting the smoothening regularization to only a subset of weights. The new loss functions are referred to as partial local entropies. They can adapt to the weight-space anisotropy, thus outperforming their isotropic counterparts. We support the theoretical analysis with experiments on image classification tasks performed with multi-layer, fully-connected and convolutional neural networks. The present study suggests how to better exploit the anisotropic nature of deep landscapes and provides direct probes of the shape of the minima encountered by stochastic gradient descent algorithms. As a by-product, we observe an asymptotic dynamical regime at late training times where the temperature of all the layers obeys a common cooling behavior.
• Abstract（参考訳）: 最近提案された局所エントロピー損失関数のクラスを、平滑化正規化をウェイトの部分集合に限定することで洗練する。 新しい損失関数は部分局所エントロピーと呼ばれる。 彼らは重み空間の異方性に適応し、したがって等方性に優れる。 我々は,多層,完全接続型,畳み込み型ニューラルネットワークを用いた画像分類タスクの実験による理論的解析を支援する。 本研究は,深層景観の異方性をより効果的に活用する方法を示し,確率的勾配降下アルゴリズムによるミニマ形状の直接プローブを提供する。 副生成物として,各層の温度が共通の冷却挙動に従う後期訓練時間における漸近的な力学レジームを観測する。

関連論文リスト

• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Theory on variational high-dimensional tensor networks [2.0307382542339485]
  ランダムな高次元ネットワーク状態の創発的統計特性とテンソルネットワークのトレーニング可能性について検討する。 変動高次元ネットワークが大域的損失関数のバレンプラトーに悩まされていることを証明した。 この結果は、将来の理論的研究と実践的応用の道を開くものである。
  論文  参考訳（メタデータ） (2023-03-30T15:26:30Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• The Limiting Dynamics of SGD: Modified Loss, Phase Space Oscillations, and Anomalous Diffusion [29.489737359897312]
  勾配降下法(SGD)を訓練した深部ニューラルネットワークの限界ダイナミクスについて検討する。 これらのダイナミクスを駆動する重要な要素は、本来のトレーニング損失ではなく、位相空間の振動を引き起こす速度と確率電流を暗黙的に規則化する修正損失の組み合わせであることを示す。
  論文  参考訳（メタデータ） (2021-07-19T20:18:57Z)
• Entropic alternatives to initialization [0.0]
  統計物理学および情報理論の言語における異方性局所的エントロピー滑らか化の解析を行う。 我々は、再正規化の物理と畳み込みネットワークの時空構造に関するいくつかの側面を論じる。
  論文  参考訳（メタデータ） (2021-07-16T08:17:32Z)
• Entanglement dynamics in Rule 54: Exact results and quasiparticle picture [0.0]
  量子セルオートマトンルール54$における量子クエンチによって生じる絡み合いのダイナミクスについて検討する。 フォン・ノイマンエントロピーの場合、準粒子像の予測を正確に回復するが、他のR'enyiエントロピーについて物理的に意味のある準粒子の記述は見つからない。
  論文  参考訳（メタデータ） (2021-04-09T17:51:09Z)
• Going beyond p-convolutions to learn grayscale morphological operators [64.38361575778237]
  p-畳み込み層と同じ原理に基づく2つの新しい形態層を提示する。 本研究では, p-畳み込み層と同じ原理に基づく2つの新しい形態層を示す。
  論文  参考訳（メタデータ） (2021-02-19T17:22:16Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。