論文の概要: On the role of non-linear latent features in bipartite generative neural networks

• arxiv url: http://arxiv.org/abs/2506.10552v1
• Date: Thu, 12 Jun 2025 10:20:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.683125
• Title: On the role of non-linear latent features in bipartite generative neural networks
• Title（参考訳）: 2部生成ニューラルネットワークにおける非線形潜伏特性の役割について
• Authors: Tony Bonnaire, Giovanni Catania, Aurélien Decelle, Beatriz Seoane,
• Abstract要約: 本研究では,リミテッド・ボルツマン・マシン (RBM) を,その隠蔽ユニットに課される事前分布の関数として検討する。 解析の結果,バイナリ隠れノードと広範囲の接続性を持つ標準RCMは,臨界容量の低下に悩まされていることが明らかとなった。 この問題に対処するために、局所バイアスの導入や、よりリッチな隠蔽ユニットの事前適用など、いくつかの修正について検討する。
• 参考スコア（独自算出の注目度）: 4.499833362998488
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We investigate the phase diagram and memory retrieval capabilities of bipartite energy-based neural networks, namely Restricted Boltzmann Machines (RBMs), as a function of the prior distribution imposed on their hidden units - including binary, multi-state, and ReLU-like activations. Drawing connections to the Hopfield model and employing analytical tools from statistical physics of disordered systems, we explore how the architectural choices and activation functions shape the thermodynamic properties of these models. Our analysis reveals that standard RBMs with binary hidden nodes and extensive connectivity suffer from reduced critical capacity, limiting their effectiveness as associative memories. To address this, we examine several modifications, such as introducing local biases and adopting richer hidden unit priors. These adjustments restore ordered retrieval phases and markedly improve recall performance, even at finite temperatures. Our theoretical findings, supported by finite-size Monte Carlo simulations, highlight the importance of hidden unit design in enhancing the expressive power of RBMs.
• Abstract（参考訳）: 両部エネルギーベースニューラルネットワーク,すなわち制限ボルツマンマシン(RBM)の位相図とメモリ検索能力について,二元系,多状態系,ReLU様の活性化を含む隠蔽ユニットに課される先行分布の関数として検討した。 ホップフィールドモデルとの接続を図解し、乱れたシステムの統計物理学から解析ツールを用いて、これらのモデルの熱力学特性をどのように形成するかを考察する。 解析の結果,二項隠蔽ノードと広範囲の接続性を持つ標準RBMは臨界容量の低下に悩まされ,連想記憶としての有効性が制限されることがわかった。 この問題に対処するために、局所バイアスの導入や、よりリッチな隠蔽ユニットの事前適用など、いくつかの修正について検討する。 これらの調整は、順序付けられた検索フェーズを復元し、有限温度でもリコール性能を著しく改善する。 有限サイズのモンテカルロシミュレーションによって支持された理論的な知見は,RBMの表現力を高める上での隠れ単位設計の重要性を強調した。

関連論文リスト

• Models of Heavy-Tailed Mechanistic Universality [62.107333654304014]
  トレーニングニューラルネットワークにおける重み付け行動を引き起こす属性を探索するために,ランダム行列モデルのファミリーを提案する。 このモデルの下では、3つの独立した因子の組み合わせによって、尾翼の電力法則によるスペクトル密度が生じる。 ニューラルネットワークトレーニングの5段階以上において、ニューラルネットワークのスケーリング法則、軌道、および5段階以上の位相を含む重尾の出現に対する我々のモデルの影響について論じる。
  論文  参考訳（メタデータ） (2025-06-04T00:55:01Z)
• Neuromorphic Circuit Simulation with Memristors: Design and Evaluation Using MemTorch for MNIST and CIFAR [0.4077787659104315]
  本研究は,3つのデジタル畳み込みニューラルネットワークを構築し,訓練することにより,メモリ内処理にmemristorsを用いることの可能性を評価する。 これらのネットワークをmemtorchシステムに変換する。 シミュレーションは理想的な条件下で行われ、推論中に最小1%の精度の損失が得られた。
  論文  参考訳（メタデータ） (2024-07-18T11:30:33Z)
• Solution space and storage capacity of fully connected two-layer neural networks with generic activation functions [0.552480439325792]
  二項分類モデルの記憶容量は、モデルが学習できるパラメータ毎のランダムな入出力ペアの最大数である。 一般活性化機能を持つ完全連結二層ニューラルネットワークの解空間の構造と記憶容量を解析する。
  論文  参考訳（メタデータ） (2024-04-20T15:12:47Z)
• Spatial Attention-based Distribution Integration Network for Human Pose Estimation [0.8052382324386398]
  本研究では,空間アテンションに基づく分布統合ネットワーク(SADI-NET)を提案する。 我々のネットワークは、受容強化モジュール(RFM)、空間融合モジュール(SFM)、分散学習モジュール(DLM)の3つの効率的なモデルで構成されている。 我々のモデルは、MPIIテストデータセットで920.10%の精度を得、既存のモデルよりも大幅に改善され、最先端のパフォーマンスが確立された。
  論文  参考訳（メタデータ） (2023-11-09T12:43:01Z)
• Gibbs-Duhem-Informed Neural Networks for Binary Activity Coefficient Prediction [45.84205238554709]
  本稿では,Gibs-Duhem-informed Neural Network を用いて,様々な組成における二成分活性係数の予測を行う。 ニューラルネットワークの学習における損失関数にギブス・デュヘム方程式を明示的に含んでいる。
  論文  参考訳（メタデータ） (2023-05-31T07:36:45Z)
• Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural Networks [69.42260428921436]
  クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。 我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。 CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:13:36Z)
• On Energy-Based Models with Overparametrized Shallow Neural Networks [44.74000986284978]
  エネルギーベースモデル(EBM)は、ジェネレーションモデリングの強力なフレームワークです。 この研究では、浅いニューラルネットワークに焦点を当てます。 我々は、いわゆる「アクティブ」体制で訓練されたモデルが、関連する「怠慢」またはカーネル体制に対して統計的に有利であることを示す。
  論文  参考訳（メタデータ） (2021-04-15T15:34:58Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)
• Energy-Based Processes for Exchangeable Data [109.04978766553612]
  エネルギーベースモデルを交換可能なデータに拡張するために、エネルギーベースプロセス(EBP)を導入する。 EBPの鍵となる利点は、集合上のより柔軟な分布を、その濃度を制限することなく表現できることである。 本研究では,多種多様なタスクにおける最先端性能を実演する電子掲示板の効率的な訓練手順を開発する。
  論文  参考訳（メタデータ） (2020-03-17T04:26:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。