論文の概要: On the Power-Law Spectrum in Deep Learning: A Bridge to Protein Science

• arxiv url: http://arxiv.org/abs/2201.13011v1
• Date: Mon, 31 Jan 2022 06:04:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 19:58:00.969036
• Title: On the Power-Law Spectrum in Deep Learning: A Bridge to Protein Science
• Title（参考訳）: 深層学習におけるパワーロースペクトルについて:タンパク質科学への橋渡し
• Authors: Zeke Xie, Qian-Yuan Tang, Yunfeng Cai, Mingming Sun, and Ping Li
• Abstract要約: ディープラーニングにおけるヘッセンスペクトルは、少数の大きな固有値と多数のほぼゼロの固有値からなる2成分構造を持つ。 我々は、よく訓練されたディープニューラルネットワークのヘッセンスペクトルが単純なパワー-ロー分布を示すことを理論的、実証的に初めて証明した。 本研究は,(1)低次元かつロバストな学習空間へ導くこと,(2)低複雑さの解をもたらす変動自由エネルギーを暗黙的にペナルティ化すること,などである。
• 参考スコア（独自算出の注目度）: 27.04602805431095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well-known that the Hessian matters to optimization, generalization, and even robustness of deep learning. Recent works empirically discovered that the Hessian spectrum in deep learning has a two-component structure that consists of a small number of large eigenvalues and a large number of nearly-zero eigenvalues. However, the theoretical mechanism behind the Hessian spectrum is still absent or under-explored. We are the first to theoretically and empirically demonstrate that the Hessian spectrums of well-trained deep neural networks exhibit simple power-law distributions. Our work further reveals how the power-law spectrum essentially matters to deep learning: (1) it leads to low-dimensional and robust learning space, and (2) it implicitly penalizes the variational free energy, which results in low-complexity solutions. We further used the power-law spectral framework as a powerful tool to demonstrate multiple novel behaviors of deep learning. Interestingly, the power-law spectrum is also known to be important in protein, which indicates a novel bridge between deep learning and protein science.
• Abstract（参考訳）: ヘッセン語が最適化、一般化、さらにはディープラーニングの堅牢性に重要であることはよく知られている。 近年の研究では、深層学習におけるヘッセンスペクトルが、少数の大きな固有値と多数のほぼゼロの固有値からなる2成分構造を持つことが実証されている。 しかし、ヘッセンスペクトルの背後にある理論的メカニズムはいまだに欠如している。 我々は、よく訓練されたディープニューラルネットワークのヘッセンスペクトルが単純なパワー-ロー分布を示すことを理論的、実証的に初めて証明した。 本研究は,(1)低次元かつロバストな学習空間へ導くこと,(2)低複雑さの解をもたらす変動自由エネルギーを暗黙的にペナルティ化すること,などである。 我々はさらに、パワーロースペクトルフレームワークを、深層学習の複数の新しい振る舞いを示す強力なツールとして利用した。 興味深いことに、パワーロースペクトルは、深層学習とタンパク質科学の間の新しい橋渡しを示すタンパク質においても重要であることが知られている。

関連論文リスト

• Heavy-Tailed Regularization of Weight Matrices in Deep Neural Networks [8.30897399932868]
  鍵となる発見は、ニューラルネットワークの一般化性能が、その重み行列のスペクトルにおける重みの程度と関連していることを示している。 重み付き正則化と呼ばれる新しい正則化手法を導入し、正則化により重み付きスペクトルを明示的に促進する。 重み付き正規化が一般化性能の点で従来の正規化技術より優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2023-04-06T07:50:14Z)
• Does Deep Learning Learn to Abstract? A Systematic Probing Framework [69.2366890742283]
  抽象化はディープラーニングモデルにとって望ましい機能であり、具体的なインスタンスから抽象概念を誘導し、学習コンテキストを超えて柔軟に適用することを意味する。 本稿では,伝達可能性の観点から,ディープラーニングモデルの抽象化能力を検討するための体系的探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-23T12:50:02Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• A Free Lunch from the Noise: Provable and Practical Exploration for Representation Learning [55.048010996144036]
  ある雑音仮定の下では、対応するマルコフ遷移作用素の線型スペクトル特性を自由な閉形式で得られることを示す。 本稿では,スペクトルダイナミクス埋め込み(SPEDE)を提案する。これはトレードオフを破り,雑音の構造を利用して表現学習のための楽観的な探索を完遂する。
  論文  参考訳（メタデータ） (2021-11-22T19:24:57Z)
• Understanding Layer-wise Contributions in Deep Neural Networks through Spectral Analysis [6.0158981171030685]
  本稿では,ディープニューラルネットワークの層次スペクトルバイアスを解析し,対象関数に対する誤差の低減における異なる層の寄与と関係付ける。 我々は、ディープニューラルネットワークのための高次元データセットにおいて、我々の理論を検証する実験結果を提供する。
  論文  参考訳（メタデータ） (2021-11-06T22:49:46Z)
• Recent advances in deep learning theory [104.01582662336256]
  本稿では,近年のディープラーニング理論の進歩をレビューし,整理する。 文献は,(1)深層学習の一般化可能性を分析する複雑性とキャパシティに基づくアプローチ,(2)勾配降下とその変種をモデル化するための微分方程式とその力学系,(3)動的システムの軌道を駆動する損失景観の幾何学的構造,(5)ネットワークアーキテクチャにおけるいくつかの特別な構造の理論的基礎,の6つのグループに分類される。
  論文  参考訳（メタデータ） (2020-12-20T14:16:41Z)
• Neural Abstract Reasoner [5.6613898352023515]
  本稿では,抽象ルールの学習と利用が可能なメモリ拡張アーキテクチャであるNeural Abstract Reasoner(NAR)を紹介する。 スペクトル正則化を訓練すると、NARは抽象・推論コーパスで78.8%の精度を達成し、人間の手作りシンボリック・ソルバよりも4倍の性能を向上することを示した。
  論文  参考訳（メタデータ） (2020-11-12T20:30:33Z)
• Spectral Analysis Network for Deep Representation Learning and Image Clustering [53.415803942270685]
  本稿ではスペクトル分析に基づく教師なし深層表現学習のための新しいネットワーク構造を提案する。 パッチレベルで画像間の局所的な類似性を識別できるため、閉塞に対してより堅牢である。 クラスタリングに親しみやすい表現を学習し、データサンプル間の深い相関を明らかにすることができる。
  論文  参考訳（メタデータ） (2020-09-11T05:07:15Z)
• Importance of the spectral gap in estimating ground-state energies [0.0]
  量子ハミルトン複雑性の分野は、量子多体物理学と計算複雑性理論の交わりにある。 主な研究対象は局所ハミルトニアン問題であり、局所ハミルトニアンの基底状態エネルギーを推定することを目的としている。
  論文  参考訳（メタデータ） (2020-07-22T18:00:00Z)
• Beyond Random Matrix Theory for Deep Networks [0.7614628596146599]
  Wigner semi-circle と Marcenko-Pastur の分布は、しばしばディープニューラルネットワーク理論解析に使用されるが、経験的に観察されたスペクトル密度と一致するかを検討する。 観測されたスペクトル形状は, 外れ値が許容される場合でも, 理論的な予測から大きく逸脱することがわかった。 行列アンサンブルの新しいクラスとして、ランダムなウィグナー/ウィッシュアートアンサンブル生成物とパーコレーションされたウィグナー/ウィッシュアートアンサンブルを考える。
  論文  参考訳（メタデータ） (2020-06-13T21:00:30Z)
• Machine learning-based classification of vector vortex beams [48.7576911714538]
  渦ベクトルビームの分類に対する新しいフレキシブルな実験的アプローチを示す。 まず、フォトニック量子ウォークにインスパイアされた任意のベクトル渦ビームを生成するためのプラットフォームについて述べる。 次に、最近の機械学習手法を利用して特定偏光パターンを認識し分類する。
  論文  参考訳（メタデータ） (2020-05-16T10:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。