論文の概要: The autoregressive neural network architecture of the Boltzmann distribution of pairwise interacting spins systems
- arxiv url: http://arxiv.org/abs/2302.08347v3
- Date: Mon, 25 Mar 2024 13:18:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 01:49:43.758994
- Title: The autoregressive neural network architecture of the Boltzmann distribution of pairwise interacting spins systems
- Title（参考訳）: 対相互作用スピン系のボルツマン分布の自己回帰型ニューラルネットワークアーキテクチャ
- Authors: Indaco Biazzo,
- Abstract要約: Generative Autoregressive Neural Networks (ARNN) は画像および言語生成タスクにおいて例外的な結果を示した。
この研究は、二対対相互作用系のボルツマン分布を自己回帰形式に正確にマッピングする。
得られたARNNアーキテクチャは、ハミルトンのカップリングと外部フィールドに対応する第1層の重みとバイアスを持つ。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative Autoregressive Neural Networks (ARNNs) have recently demonstrated exceptional results in image and language generation tasks, contributing to the growing popularity of generative models in both scientific and commercial applications. This work presents an exact mapping of the Boltzmann distribution of binary pairwise interacting systems into autoregressive form. The resulting ARNN architecture has weights and biases of its first layer corresponding to the Hamiltonian's couplings and external fields, featuring widely used structures such as the residual connections and a recurrent architecture with clear physical meanings. Moreover, its architecture's explicit formulation enables the use of statistical physics techniques to derive new ARNNs for specific systems. As examples, new effective ARNN architectures are derived from two well-known mean-field systems, the Curie-Weiss and Sherrington-Kirkpatrick models, showing superior performance in approximating the Boltzmann distributions of the corresponding physics model compared to other commonly used architectures. The connection established between the physics of the system and the neural network architecture provides a means to derive new architectures for different interacting systems and interpret existing ones from a physical perspective.
- Abstract（参考訳）: Generative Autoregressive Neural Networks (ARNN)は、最近、画像および言語生成タスクにおいて、例外的な結果を示し、科学的および商業的な応用において、生成モデルの普及に寄与している。
この研究は、二対対相互作用系のボルツマン分布を自己回帰形式に正確にマッピングする。
得られたARNNアーキテクチャは、ハミルトンのカップリングと外部フィールドに対応する第1層の重みとバイアスを持ち、残留接続や明確な物理的意味を持つ再帰アーキテクチャのような広く使われている構造を特徴としている。
さらに、そのアーキテクチャの明示的な定式化により、統計物理学技術を用いることで、特定のシステムに対する新しいARNNを導出することができる。
例として、新しい効果的なARNNアーキテクチャは、Curie-Weiss と Sherrington-Kirkpatrick の2つの一般的な平均場系から派生し、対応する物理モデルのボルツマン分布を他のよく使われるアーキテクチャと比較すると、優れた性能を示す。
システムの物理とニューラルネットワークアーキテクチャの間の接続は、異なる相互作用システムのための新しいアーキテクチャを導出し、既存のアーキテクチャを物理的観点から解釈する手段を提供する。
関連論文リスト
- Systematic construction of continuous-time neural networks for linear dynamical systems [0.0]
本稿では,動的システムのサブクラスをモデル化するためのニューラルネットワーク構築の体系的アプローチについて論じる。
我々は、各ニューロンの出力が1次または2次常微分方程式(ODE)の解として連続的に進化する連続時間ニューラルネットワークの変種を用いる。
データからネットワークアーキテクチャとパラメータを導出する代わりに、所定のLTIシステムから直接スパースアーキテクチャとネットワークパラメータを計算するための勾配のないアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-24T16:16:41Z) - Multi-conditioned Graph Diffusion for Neural Architecture Search [8.290336491323796]
本稿では、離散的な条件付きグラフ拡散プロセスを用いて、高性能ニューラルネットワークアーキテクチャを生成するグラフ拡散に基づくNAS手法を提案する。
6つの標準ベンチマークで有望な結果を示し、新しいアーキテクチャとユニークなアーキテクチャを高速に実現します。
論文 参考訳（メタデータ） (2024-03-09T21:45:31Z) - A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。
自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。
時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
論文 参考訳（メタデータ） (2023-01-24T08:39:20Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳（メタデータ） (2022-04-15T10:45:26Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Self-Learning for Received Signal Strength Map Reconstruction with
Neural Architecture Search [63.39818029362661]
ニューラルアーキテクチャサーチ(NAS)と受信信号強度(RSS)マップ再構築のための自己学習に基づくモデルを提案する。
このアプローチは、まず最適なNNアーキテクチャを見つけ、与えられた(RSS)マップの地上実測値に対して同時に推論モデルを訓練する。
実験結果から,この第2モデルの信号予測は,非学習に基づく最先端技術や,アーキテクチャ探索を伴わないNNモデルよりも優れていた。
論文 参考訳（メタデータ） (2021-05-17T12:19:22Z) - Adversarially Robust Neural Architectures [43.74185132684662]
本稿では,NASフレームワークを用いたアーキテクチャの観点から,ネットワークの対角的ロバスト性を改善することを目的とする。
本稿では, 対向ロバスト性, リプシッツ定数, アーキテクチャパラメータの関係について検討する。
提案アルゴリズムは,異なるデータセットに対する様々な攻撃の下で,すべてのモデルの中で最高の性能を実証的に達成する。
論文 参考訳（メタデータ） (2020-09-02T08:52:15Z) - Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。
DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。
300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
論文 参考訳（メタデータ） (2020-07-17T08:32:11Z) - Neural Architecture Optimization with Graph VAE [21.126140965779534]
連続空間におけるネットワークアーキテクチャを最適化するための効率的なNAS手法を提案する。
フレームワークは、エンコーダ、パフォーマンス予測器、複雑性予測器、デコーダの4つのコンポーネントを共同で学習する。
論文 参考訳（メタデータ） (2020-06-18T07:05:48Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。