論文の概要: The autoregressive neural network architecture of the Boltzmann
distribution of pairwise interacting spins systems
- arxiv url: http://arxiv.org/abs/2302.08347v1
- Date: Thu, 16 Feb 2023 15:05:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-17 13:40:56.768082
- Title: The autoregressive neural network architecture of the Boltzmann
distribution of pairwise interacting spins systems
- Title（参考訳）: 対相互作用スピン系のボルツマン分布の自己回帰型ニューラルネットワークアーキテクチャ
- Authors: Indaco Biazzo
- Abstract要約: Generative Autoregressive Neural Networks (ARNN) は画像および言語生成タスクにおいて例外的な結果を示した。
この研究は、二対対相互作用系のボルツマン分布を自己回帰形式に再構成することにより、ARNNの物理的解釈を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative Autoregressive Neural Networks (ARNN) have recently demonstrated
exceptional results in image and language generation tasks, contributing to the
growing popularity of generative models in both scientific and commercial
applications. This work presents a physical interpretation of the ARNNs by
reformulating the Boltzmann distribution of binary pairwise interacting systems
into autoregressive form. The resulting ARNN architecture has weights and
biases of its first layer corresponding to the Hamiltonian's couplings and
external fields, featuring widely used structures like the residual connections
and a recurrent architecture with clear physical meanings. However, the
exponential growth, with system size, of the number of parameters of the hidden
layers makes its direct application unfeasible. Nevertheless, its
architecture's explicit formulation allows using statistical physics techniques
to derive new ARNNs for specific systems. As examples, new effective ARNN
architectures are derived from two well-known mean-field systems, the
Curie-Weiss and Sherrington-Kirkpatrick models, showing superior performances
in approximating the Boltzmann distributions of the corresponding physics model
than other commonly used ARNNs architectures. The connection established
between the physics of the system and the ARNN architecture provides a way to
derive new neural network architectures for different interacting systems and
interpret existing ones from a physical perspective.
- Abstract（参考訳）: Generative Autoregressive Neural Networks (ARNN)は、最近、画像および言語生成タスクにおける例外的な結果を実証し、科学と商業の両方の分野で生成モデルの人気が高まっている。
本研究は,二元対相互作用系のボルツマン分布を自己回帰形式に再構成し,arnnの物理的解釈を提案する。
得られたARNNアーキテクチャは、ハミルトンのカップリングと外部フィールドに対応する第1層の重みとバイアスを持ち、残留接続や明確な物理的意味を持つ再帰アーキテクチャのような広く使われている構造を特徴としている。
しかし、システムサイズの指数関数的な成長は、隠されたレイヤのパラメータの数を直接適用することは不可能である。
それにもかかわらず、そのアーキテクチャの明示的な定式化により、統計物理学技術を用いて特定のシステムに対する新しいARNNを導出することができる。
例として、新しい効果的なARNNアーキテクチャは、Curie-Weiss と Sherrington-Kirkpatrick という2つの有名な平均場系から派生し、対応する物理モデルのボルツマン分布を他のよく使われるARNNアーキテクチャよりも近似する上で優れた性能を示す。
システムの物理とARNNアーキテクチャの接続は、異なる相互作用システムのための新しいニューラルネットワークアーキテクチャを導出し、物理的観点から既存のアーキテクチャを解釈する方法を提供する。
関連論文リスト
- Systematic construction of continuous-time neural networks for linear dynamical systems [0.0]
本稿では,動的システムのサブクラスをモデル化するためのニューラルネットワーク構築の体系的アプローチについて論じる。
我々は、各ニューロンの出力が1次または2次常微分方程式(ODE)の解として連続的に進化する連続時間ニューラルネットワークの変種を用いる。
データからネットワークアーキテクチャとパラメータを導出する代わりに、所定のLTIシステムから直接スパースアーキテクチャとネットワークパラメータを計算するための勾配のないアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-24T16:16:41Z) - Multi-conditioned Graph Diffusion for Neural Architecture Search [8.290336491323796]
本稿では、離散的な条件付きグラフ拡散プロセスを用いて、高性能ニューラルネットワークアーキテクチャを生成するグラフ拡散に基づくNAS手法を提案する。
6つの標準ベンチマークで有望な結果を示し、新しいアーキテクチャとユニークなアーキテクチャを高速に実現します。
論文 参考訳（メタデータ） (2024-03-09T21:45:31Z) - A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。
自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。
時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
論文 参考訳（メタデータ） (2023-01-24T08:39:20Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳（メタデータ） (2022-04-15T10:45:26Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Self-Learning for Received Signal Strength Map Reconstruction with
Neural Architecture Search [63.39818029362661]
ニューラルアーキテクチャサーチ(NAS)と受信信号強度(RSS)マップ再構築のための自己学習に基づくモデルを提案する。
このアプローチは、まず最適なNNアーキテクチャを見つけ、与えられた(RSS)マップの地上実測値に対して同時に推論モデルを訓練する。
実験結果から,この第2モデルの信号予測は,非学習に基づく最先端技術や,アーキテクチャ探索を伴わないNNモデルよりも優れていた。
論文 参考訳（メタデータ） (2021-05-17T12:19:22Z) - Adversarially Robust Neural Architectures [43.74185132684662]
本稿では,NASフレームワークを用いたアーキテクチャの観点から,ネットワークの対角的ロバスト性を改善することを目的とする。
本稿では, 対向ロバスト性, リプシッツ定数, アーキテクチャパラメータの関係について検討する。
提案アルゴリズムは,異なるデータセットに対する様々な攻撃の下で,すべてのモデルの中で最高の性能を実証的に達成する。
論文 参考訳（メタデータ） (2020-09-02T08:52:15Z) - Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。
DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。
300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
論文 参考訳（メタデータ） (2020-07-17T08:32:11Z) - Neural Architecture Optimization with Graph VAE [21.126140965779534]
連続空間におけるネットワークアーキテクチャを最適化するための効率的なNAS手法を提案する。
フレームワークは、エンコーダ、パフォーマンス予測器、複雑性予測器、デコーダの4つのコンポーネントを共同で学習する。
論文 参考訳（メタデータ） (2020-06-18T07:05:48Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。