論文の概要: Activation Functions, Statistics and Learning of Higher-Order Interactions in Restricted Boltzmann Machines

• arxiv url: http://arxiv.org/abs/2605.19178v1
• Date: Mon, 18 May 2026 23:04:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.021494
• Title: Activation Functions, Statistics and Learning of Higher-Order Interactions in Restricted Boltzmann Machines
• Title（参考訳）: 制限ボルツマンマシンにおける高次相互作用の活性化関数、統計および学習
• Authors: Giovanni di Sarra, Yasser Roudi,
• Abstract要約: 隠れ単位活性化関数の異なる制限ボルツマンマシンによって誘導される相互作用の統計について検討する。 我々は、誘導された相互作用の分布のモーメントの観点から、表現可能なモデルの空間を解析的に特徴づける。 指数関数のような急速に増加する非線形性は、そのようなデータ構造の表現と学習を容易にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The great success of neural networks in recognizing hidden patterns and correlations in complex data lies in the way they take advantage of the large number of parameters and nonlinear single-unit activation, jointly. Restricted Boltzmann Machines (RBMs) provide a simple yet powerful framework for studying the impact of activation nonlinearities on performance and representation. In this work, we exploit the duality between RBMs and models of interacting binary variables to study the statistics of the interactions induced by RBM ensembles with different hidden unit activation functions. We characterize the space of representable models analytically in terms of moments of the distribution of induced interactions for four commonly used activation functions: Linear, Step, ReLU, and Exponential. Quantitative predictions of the analytical calculations on learning show a very good agreement with results of the simulations of the training process. In particular, our analysis shows that there are certain data structures, namely those generated by models of interacting variables with large interaction terms beyond pairwise, that are difficult to represent, and thus to learn, for any RBM. Yet, we find that rapidly increasing nonlinearities, such as the Exponential function, can facilitate the representation and learning of such data structures for a specific range of parameters that is determined analytically.
• Abstract（参考訳）: 複雑なデータにおける隠れパターンと相関を認識するニューラルネットワークの大きな成功は、多数のパラメータと非線形単一ユニットの活性化を共同で活用する方法にある。 制限ボルツマンマシン(RBM)は、活性化非線形性が性能と表現に与える影響を研究するための、シンプルだが強力なフレームワークを提供する。 本研究では、RBMと相互作用する二変数のモデルとの双対性を利用して、異なる隠れ単位活性化関数を持つRBMアンサンブルによって引き起こされる相互作用の統計を研究する。 我々は、線形、ステップ、ReLU、指数の4つの活性化関数に対する誘導的相互作用の分布のモーメントの観点から、表現可能なモデルの空間を解析的に特徴づける。 学習における解析計算の定量的予測は,学習過程のシミュレーション結果と非常によく一致している。 特に、我々の分析は、あるデータ構造、すなわち、相互作用する変数と、対数以上の大きな相互作用項を持つモデルによって生成されるものが存在することを示しており、どのRBMに対しても、表現が困難であり、学習が困難である。 しかし、指数関数のような急速に増加する非線形性は、分析的に決定されるパラメータの特定の範囲に対して、そのようなデータ構造を表現および学習しやすくすることを発見した。

関連論文リスト

• KAN-Matrix: Visualizing Nonlinear Pairwise and Multivariate Contributions for Physical Insight [0.0]
  本稿では,KAN(Kolmogorov-Arnold Networks)の新たな応用法を提案する。 Pairwise Kan Matrix (PKAN) と Multivariable Kan Contribution Matrix (MKAN) である。
  論文  参考訳（メタデータ） (2025-12-12T02:04:53Z)
• Beyond DAGs: A Latent Partial Causal Model for Multimodal Learning [80.44084021062105]
  本稿では,非方向エッジで連結された2つの潜在結合変数を特徴とする,多モーダルデータに対する新しい潜在部分因果モデルを提案する。 特定の統計的仮定の下では、多モーダル・コントラッシブ・ラーニングによって学習された表現が、自明な変換までの潜在結合変数に対応することを示す。 事前トレーニングされたCLIPモデルの実験は、非絡み合った表現を具現化し、数ショットの学習を可能にし、さまざまな現実世界のデータセットにわたるドメインの一般化を改善する。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Latent Multimodal Functional Graphical Model Estimation [26.457941699285165]
  本稿では,データ生成過程をモデル化し,観測空間から潜伏空間へマッピングする演算子を同定する新しいフレームワークを提案する。 次に、変換演算子と潜在グラフを同時に推定する推定器を開発する。 本研究は,脳の機能的接続を示すマルチモーダル脳画像データの解析に応用した。
  論文  参考訳（メタデータ） (2022-10-31T11:43:05Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Multi-Agent Imitation Learning with Copulas [102.27052968901894]
  マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。 本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。 提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
  論文  参考訳（メタデータ） (2021-07-10T03:49:41Z)
• Efficient Inference of Flexible Interaction in Spiking-neuron Networks [41.83710212492543]
  非線形ホークス法を用いて、ニューロン間の興奮的または抑制的な相互作用をモデル化する。 提案アルゴリズムは, 相互作用の時間的ダイナミクスを推定し, ニューラルスパイク列の根底にある機能的接続を明らかにする。
  論文  参考訳（メタデータ） (2020-06-23T09:10:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。