論文の概要: Short sighted deep learning

• arxiv url: http://arxiv.org/abs/2002.02664v1
• Date: Fri, 7 Feb 2020 08:33:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 04:17:49.757481
• Title: Short sighted deep learning
• Title（参考訳）: 短視深層学習
• Authors: Ellen de Melllo Koch, Anita de Mello Koch, Nicholas Kastanos, Ling Cheng
• Abstract要約: 議論を長距離スピン格子の設定に拡張する。 MCMCシミュレーションは、システムの臨界温度とスケーリング次元の両方を決定する。
• 参考スコア（独自算出の注目度）: 0.22940141855172028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A theory explaining how deep learning works is yet to be developed. Previous work suggests that deep learning performs a coarse graining, similar in spirit to the renormalization group (RG). This idea has been explored in the setting of a local (nearest neighbor interactions) Ising spin lattice. We extend the discussion to the setting of a long range spin lattice. Markov Chain Monte Carlo (MCMC) simulations determine both the critical temperature and scaling dimensions of the system. The model is used to train both a single RBM (restricted Boltzmann machine) network, as well as a stacked RBM network. Following earlier Ising model studies, the trained weights of a single layer RBM network define a flow of lattice models. In contrast to results for nearest neighbor Ising, the RBM flow for the long ranged model does not converge to the correct values for the spin and energy scaling dimension. Further, correlation functions between visible and hidden nodes exhibit key differences between the stacked RBM and RG flows. The stacked RBM flow appears to move towards low temperatures whereas the RG flow moves towards high temperature. This again differs from results obtained for nearest neighbor Ising.
• Abstract（参考訳）: ディープラーニングの仕組みを説明する理論はまだ開発されていない。 これまでの研究では、深層学習は、再正規化群(RG)と同様、粗粒化を行うことが示唆された。 このアイデアは局所的(ネアレスト近傍相互作用)イジングスピン格子の設定において研究されている。 我々は、この議論を長距離スピン格子の設定にまで拡張する。 マルコフ連鎖モンテカルロ(mcmc)シミュレーションは、システムの臨界温度とスケーリング次元の両方を決定する。 このモデルは、単一のRBM(制限されたボルツマンマシン)ネットワークと積み重ねられたRBMネットワークの両方を訓練するために使用される。 初期のIsingモデル研究に続いて、単一層RCMネットワークのトレーニングされた重み付けは格子モデルのフローを定義する。 隣り合うIsingの結果とは対照的に、長い範囲のモデルのRBMフローはスピンとエネルギーのスケーリング次元の正しい値に収束しない。 さらに、可視ノードと隠れノードの相関関数は、積み重ねられたRBMとRGフローの間に重要な違いを示す。 積み重ねられたRBM流は低温に移動するが、RG流は高温に移動する。 これは近隣のイジングで得られた結果とはまた異なる。

関連論文リスト

• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Active search and coverage using point-cloud reinforcement learning [50.741409008225766]
  本稿では,目的探索とカバレッジのためのエンドツーエンドの深層強化学習ソリューションを提案する。 RLの深い階層的特徴学習は有効であり、FPS(Fastthest Point sample)を用いることで点数を削減できることを示す。 また、ポイントクラウドに対するマルチヘッドの注意がエージェントの学習を高速化する上で有効であるが、同じ結果に収束することを示す。
  論文  参考訳（メタデータ） (2023-12-18T18:16:30Z)
• A Deep Dive into the Connections Between the Renormalization Group and Deep Learning in the Ising Model [0.0]
  再正規化群(Renormalization group、RG)は、統計物理学と量子場理論において必須の手法である。 本研究では, 1D と 2D Ising モデルに対する広範な再正規化手法を開発し, 比較のためのベースラインを提供する。 2次元イジングモデルでは、Wolffアルゴリズムを用いてIsingモデルサンプルを生成し、準決定論的手法を用いてグループフローを実行した。
  論文  参考訳（メタデータ） (2023-08-21T22:50:54Z)
• Optimal Connectivity through Network Gradients for the Restricted Boltzmann Machine [0.0]
  基本的な問題は、学習曲線を改善するための接続パターンを効率的に見つけることである。 最近のアプローチでは、モデルで最適化する必要があるパラメータとして、ネットワーク接続を明示的に含んでいます。 本研究は,ネットワーク勾配の考え方に基づいて,RBMの最適接続パターンを求める手法を提案する。
  論文  参考訳（メタデータ） (2022-09-14T21:09:58Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Feature extraction of machine learning and phase transition point of Ising model [0.0]
  本研究では,Isingモデルのスピン配置を様々な温度で訓練した場合に,RBM(Restricted Boltzmann Machine)によって抽出された特徴について検討する。 ある場合、フローはイジングモデルにおける相転移点$T=T_c$に近づく。
  論文  参考訳（メタデータ） (2021-11-22T13:04:24Z)
• Repesentation of general spin-$S$ systems using a Restricted Boltzmann Machine with Softmax Regression [0.0]
  提案手法は, 実験波動関数を数値的により効率的に実現し, 高い性能を示すことを示す。 ソフトマックス RBM を用いたスピン1/2 システムの精度評価を行った。
  論文  参考訳（メタデータ） (2021-09-22T11:14:18Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• Multi-Stage Hybrid Federated Learning over Large-Scale D2D-Enabled Fog Networks [61.30171206892684]
  ネットワークを多層クラスタベース構造とみなす階層内モデル学習と層間モデル学習のハイブリッドを開発する。 MH-FLは、デバイス間通信(D2D)を介して形成されたローカルネットワークを含む、クラスタ内のノード間のトポロジー構造を考察している。 異なるネットワーク層におけるデバイスを協調的/協調的にオーケストレーションし、モデルパラメータの局所的なコンセンサスを形成する。
  論文  参考訳（メタデータ） (2020-07-18T20:03:07Z)
• Restricted Boltzmann Machine Flows and The Critical Temperature of Ising models [0.0]
  Boltzmann Machines (RBM) からの反復サンプリング(フロー)のための代替実験装置について検討する。 このフレームワークは、RBMベースのディープニューラルネットワークとRenormalization Group(RG)の間の接続を探索するために導入された。
  論文  参考訳（メタデータ） (2020-06-17T21:59:00Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。