論文の概要: The autoregressive neural network architecture of the Boltzmann
distribution of pairwise interacting spins systems
- arxiv url: http://arxiv.org/abs/2302.08347v1
- Date: Thu, 16 Feb 2023 15:05:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-17 13:40:56.768082
- Title: The autoregressive neural network architecture of the Boltzmann
distribution of pairwise interacting spins systems
- Title(参考訳): 対相互作用スピン系のボルツマン分布の自己回帰型ニューラルネットワークアーキテクチャ
- Authors: Indaco Biazzo
- Abstract要約: Generative Autoregressive Neural Networks (ARNN) は画像および言語生成タスクにおいて例外的な結果を示した。
この研究は、二対対相互作用系のボルツマン分布を自己回帰形式に再構成することにより、ARNNの物理的解釈を示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative Autoregressive Neural Networks (ARNN) have recently demonstrated
exceptional results in image and language generation tasks, contributing to the
growing popularity of generative models in both scientific and commercial
applications. This work presents a physical interpretation of the ARNNs by
reformulating the Boltzmann distribution of binary pairwise interacting systems
into autoregressive form. The resulting ARNN architecture has weights and
biases of its first layer corresponding to the Hamiltonian's couplings and
external fields, featuring widely used structures like the residual connections
and a recurrent architecture with clear physical meanings. However, the
exponential growth, with system size, of the number of parameters of the hidden
layers makes its direct application unfeasible. Nevertheless, its
architecture's explicit formulation allows using statistical physics techniques
to derive new ARNNs for specific systems. As examples, new effective ARNN
architectures are derived from two well-known mean-field systems, the
Curie-Weiss and Sherrington-Kirkpatrick models, showing superior performances
in approximating the Boltzmann distributions of the corresponding physics model
than other commonly used ARNNs architectures. The connection established
between the physics of the system and the ARNN architecture provides a way to
derive new neural network architectures for different interacting systems and
interpret existing ones from a physical perspective.
- Abstract(参考訳): Generative Autoregressive Neural Networks (ARNN)は、最近、画像および言語生成タスクにおける例外的な結果を実証し、科学と商業の両方の分野で生成モデルの人気が高まっている。
本研究は,二元対相互作用系のボルツマン分布を自己回帰形式に再構成し,arnnの物理的解釈を提案する。
得られたARNNアーキテクチャは、ハミルトンのカップリングと外部フィールドに対応する第1層の重みとバイアスを持ち、残留接続や明確な物理的意味を持つ再帰アーキテクチャのような広く使われている構造を特徴としている。
しかし、システムサイズの指数関数的な成長は、隠されたレイヤのパラメータの数を直接適用することは不可能である。
それにもかかわらず、そのアーキテクチャの明示的な定式化により、統計物理学技術を用いて特定のシステムに対する新しいARNNを導出することができる。
例として、新しい効果的なARNNアーキテクチャは、Curie-Weiss と Sherrington-Kirkpatrick という2つの有名な平均場系から派生し、対応する物理モデルのボルツマン分布を他のよく使われるARNNアーキテクチャよりも近似する上で優れた性能を示す。
システムの物理とARNNアーキテクチャの接続は、異なる相互作用システムのための新しいニューラルネットワークアーキテクチャを導出し、物理的観点から既存のアーキテクチャを解釈する方法を提供する。
関連論文リスト
- A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。
自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。
時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
論文 参考訳(メタデータ) (2023-01-24T08:39:20Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳(メタデータ) (2022-04-15T10:45:26Z) - Composing Recurrent Spiking Neural Networks using Locally-Recurrent
Motifs and Risk-Mitigating Architectural Optimization [9.104190653846048]
神経回路では、リカレント接続はネットワーク機能と安定性において重要な役割を果たす。
既存の繰り返しスパイクニューラルネットワーク(RSNN)は、しばしば最適化なしでランダムな接続によって構築される。
我々は、新しいスケーラブルRSNNアーキテクチャと自動アーキテクチャ最適化により、大規模RSNNの体系的設計を可能にすることを目指している。
論文 参考訳(メタデータ) (2021-08-04T00:09:39Z) - Self-Learning for Received Signal Strength Map Reconstruction with
Neural Architecture Search [63.39818029362661]
ニューラルアーキテクチャサーチ(NAS)と受信信号強度(RSS)マップ再構築のための自己学習に基づくモデルを提案する。
このアプローチは、まず最適なNNアーキテクチャを見つけ、与えられた(RSS)マップの地上実測値に対して同時に推論モデルを訓練する。
実験結果から,この第2モデルの信号予測は,非学習に基づく最先端技術や,アーキテクチャ探索を伴わないNNモデルよりも優れていた。
論文 参考訳(メタデータ) (2021-05-17T12:19:22Z) - Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and
(gradient) stable architecture for learning long time dependencies [15.2292571922932]
本稿では,リカレントニューラルネットワークのための新しいアーキテクチャを提案する。
提案するRNNは, 2次常微分方程式系の時間分解に基づく。
実験の結果,提案したRNNは,様々なベンチマークによる最先端技術に匹敵する性能を示した。
論文 参考訳(メタデータ) (2020-10-02T12:35:04Z) - Adversarially Robust Neural Architectures [43.74185132684662]
本稿では,NASフレームワークを用いたアーキテクチャの観点から,ネットワークの対角的ロバスト性を改善することを目的とする。
本稿では, 対向ロバスト性, リプシッツ定数, アーキテクチャパラメータの関係について検討する。
提案アルゴリズムは,異なるデータセットに対する様々な攻撃の下で,すべてのモデルの中で最高の性能を実証的に達成する。
論文 参考訳(メタデータ) (2020-09-02T08:52:15Z) - Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。
DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。
300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
論文 参考訳(メタデータ) (2020-07-17T08:32:11Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳(メタデータ) (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。