論文の概要: Black holes and the loss landscape in machine learning
- arxiv url: http://arxiv.org/abs/2306.14817v1
- Date: Mon, 26 Jun 2023 16:22:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 12:36:48.571828
- Title: Black holes and the loss landscape in machine learning
- Title（参考訳）: 機械学習におけるブラックホールとロスランドスケープ
- Authors: Pranav Kumar, Taniya Mandal, Swapnamay Mondal
- Abstract要約: ブラックホールは自然に、ブラックホールエントロピーの存在によって風景を生じさせる。
これらの風景のミニマの正確な数は、弦理論における双対性から知られている先行性である。
すべての指数関数解を見つけるのに必要な実行回数を推定する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding the loss landscape is an important problem in machine learning.
One key feature of the loss function, common to many neural network
architectures, is the presence of exponentially many low lying local minima.
Physical systems with similar energy landscapes may provide useful insights. In
this work, we point out that black holes naturally give rise to such
landscapes, owing to the existence of black hole entropy. For definiteness, we
consider 1/8 BPS black holes in $\mathcal{N} = 8$ string theory. These provide
an infinite family of potential landscapes arising in the microscopic
descriptions of corresponding black holes. The counting of minima amounts to
black hole microstate counting. Moreover, the exact numbers of the minima for
these landscapes are a priori known from dualities in string theory. Some of
the minima are connected by paths of low loss values, resembling mode
connectivity. We estimate the number of runs needed to find all the solutions.
Initial explorations suggest that Stochastic Gradient Descent can find a
significant fraction of the minima.
- Abstract（参考訳）: ロスランドスケープを理解することは、機械学習において重要な問題である。
多くのニューラルネットワークアーキテクチャに共通する損失関数の重要な特徴の1つは、指数関数的に多くの低い局所的ミニマの存在である。
同様のエネルギー景観を持つ物理系は有用な洞察を与えるかもしれない。
本研究では、ブラックホールのエントロピーの存在により、ブラックホールが自然にそのような風景を生み出すことを指摘する。
確定性については、$\mathcal{N} = 8$ string theory の 1/8 BPS ブラックホールを考える。
これらは、対応するブラックホールの微視的な記述で生じる潜在的な風景の無限のファミリーを提供する。
ミニマの計数量はブラックホールの微少状態計数に等しい。
さらに、これらの風景におけるミニマの正確な数は、弦理論の双対性から知られている事前性である。
ミニマの一部は、モード接続のような低損失値の経路で接続されている。
すべてのソリューションを見つけるために必要な実行回数を見積もっています。
初期の調査は、確率的勾配降下が極小値のかなりの割合を見つけることを示唆している。
関連論文リスト
- Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
我々は、ResNets(tildeLtoinfty$)とFully-Connected nets(tildeLtoinfty$)の間を補間するLeaky ResNetsを研究する。
無限深度極限において、'representation geodesics'の$A_p$:continuous paths in representation space(NeuralODEsに類似)を研究する。
この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
論文 参考訳（メタデータ） (2024-05-27T18:15:05Z) - Constraints on physical computers in holographic spacetimes [49.1574468325115]
エントロピーが$O(2n)$未満のブラックホールの内部では実装できない$n$量子ビット上の計算が存在することを示す。
ブラックホール内部で発生する計算は、プログラム可能な量子プロセッサで実装可能でなければならない、と我々は主張する。
論文 参考訳（メタデータ） (2023-04-19T18:00:50Z) - A simple quantum system that describes a black hole [0.0]
我々はアインシュタイン方程式によって支配される創発宇宙のブラックホールを記述することを予想した。
過去の数値計算に基づいて、ブラックホールの特徴を見るのに必要な量子ビットの数を推定する。
論文 参考訳（メタデータ） (2023-03-21T01:42:23Z) - Behind the Scenes: Density Fields for Single View Reconstruction [63.40484647325238]
単一の画像から有意義な幾何学的シーン表現を推定することは、コンピュータビジョンの根本的な問題である。
本稿では,入力画像のフラストラム内のすべての位置を体積密度にマッピングする。
提案手法は,入力画像に隠された領域に対して有意な幾何を予測できることを示す。
論文 参考訳（メタデータ） (2023-01-18T17:24:01Z) - When Expressivity Meets Trainability: Fewer than $n$ Neurons Can Work [59.29606307518154]
幅が$m geq 2n/d$($d$は入力次元)である限り、その表現性は強く、すなわち、訓練損失がゼロの少なくとも1つの大域最小化器が存在することを示す。
また、実現可能な領域がよい局所領域であるような制約付き最適化の定式化も検討し、すべてのKKT点がほぼ大域最小値であることを示す。
論文 参考訳（メタデータ） (2022-10-21T14:41:26Z) - Limitations of Deep Learning for Inverse Problems on Digital Hardware [65.26723285209853]
我々は、チューリングマシンとしてモデル化された現在のハードウェアプラットフォームで実際に計算できるものを分析する。
有限次元逆問題は小さな緩和パラメータに対してバナッハ・マズール計算可能でないことを証明した。
論文 参考訳（メタデータ） (2022-02-28T00:20:12Z) - Distinguishing Random and Black Hole Microstates [0.0]
我々は、Petz R'enyi 相対エントロピー、サンドイッチされた R'enyi 相対エントロピー、忠実度、およびトレース距離を含む多くの一般化を計算してアイデアを拡張する。
これらの一般化された量は、ランダム状態とブラックホールマイクロステートの空間における新しい構造について教えてくれる。
模擬ワームホールを用いたブラックホール情報問題における実験結果の影響について考察する。
論文 参考訳（メタデータ） (2021-07-30T18:00:00Z) - A simple geometric proof for the benefit of depth in ReLU networks [57.815699322370826]
本論文では, 多層フィードフォワードネットワークにおける深度の利点を, 整流活性化(深度分離)により証明する。
我々は、線形深さ($m$)と小さな定数幅($leq 4$)を持つ具体的なニューラルネットワークを示し、問題をゼロエラーで分類する。
論文 参考訳（メタデータ） (2021-01-18T15:40:27Z) - Universality, intertwiners and black hole information [0.0]
この記事の中心的な問題は、どのように情報がブラックホールから漏れているかである。
我々は、ブラックホールの大気中に相関関係が広がり、内部に広がるある種の作用素の存在を提案する。
我々はページ曲線を導出し、情報はブラックホール干渉器を介して放射に伝達されると主張する。
論文 参考訳（メタデータ） (2020-10-23T17:51:04Z) - Binary Black Hole Information Loss Paradox & Future Prospects [2.6285579209051293]
本稿では,グリーンバーガー・ホーン・ゼイリンジャー(GHZ)状態の3量子系の配置を用いて,二元ブラックホール系との相互作用を示す。
また, 入力源としての光学装置において, 現代の重力波の検出方法についても提案する。
論文 参考訳（メタデータ） (2020-04-09T17:26:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。