論文の概要: Restricted Boltzmann Machines as Models of Interacting Variables

• arxiv url: http://arxiv.org/abs/2103.15917v1
• Date: Mon, 29 Mar 2021 19:52:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-31 15:07:14.871082
• Title: Restricted Boltzmann Machines as Models of Interacting Variables
• Title（参考訳）: 相互作用変数のモデルとしての制限ボルツマンマシン
• Authors: Nicola Bulso, Yasser Roudi
• Abstract要約: 我々は、異なる活性化関数を持つ制限ボルツマンマシン(RBM)が表現できる分布の種類を研究します。 弱パラメータ近似は、MNISTデータセットで訓練された異なるRBMのよい近似であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the type of distributions that Restricted Boltzmann Machines (RBMs) with different activation functions can express by investigating the effect of the activation function of the hidden nodes on the marginal distribution they impose on observed binary nodes. We report an exact expression for these marginals in the form of a model of interacting binary variables with the explicit form of the interactions depending on the hidden node activation function. We study the properties of these interactions in detail and evaluate how the accuracy with which the RBM approximates distributions over binary variables depends on the hidden node activation function and on the number of hidden nodes. When the inferred RBM parameters are weak, an intuitive pattern is found for the expression of the interaction terms which reduces substantially the differences across activation functions. We show that the weak parameter approximation is a good approximation for different RBMs trained on the MNIST dataset. Interestingly, in these cases, the mapping reveals that the inferred models are essentially low order interaction models.
• Abstract（参考訳）: 本研究では,リミテッド・ボルツマン・マシン(RBM)と異なるアクティベーション関数を持つ分布のタイプについて,隠れたノードのアクティベーション関数が観測されたバイナリノードに課す限界分布に与える影響を調べた。 隠れノードのアクティベーション関数に依存する相互作用の明示的な形式と相互作用するバイナリ変数のモデルとして,これらの辺りの正確な表現を報告する。 我々はこれらの相互作用の性質を詳細に研究し、RBMがバイナリ変数上の分布を近似する精度が隠れノード活性化関数と隠れノード数に依存するかを評価する。 推定されたRBMパラメータが弱い場合には、アクティベーション関数間の差を大幅に低減する相互作用項の表現に対して直感的なパターンが見つかる。 弱パラメータ近似は,MNISTデータセット上で訓練された異なるRBMに対してよい近似であることを示す。 興味深いことに、これらの場合のマッピングにより、推論されたモデルは本質的に低次相互作用モデルであることが分かる。

関連論文リスト

• Learning local discrete features in explainable-by-design convolutional neural networks [0.0]
  本稿では,側方抑制機構に基づくCNN(Design-by-Design Convolutional Neural Network)を提案する。 このモデルは、残留または高密度のスキップ接続を持つ高精度CNNである予測器で構成されている。 観測を収集し,直接確率を計算することにより,隣接するレベルのモチーフ間の因果関係を説明することができる。
  論文  参考訳（メタデータ） (2024-10-31T18:39:41Z)
• The twin peaks of learning neural networks [3.382017614888546]
  近年の研究では、ニューラルネットワークの一般化誤差に対する二重発光現象の存在が示されている。 この現象とニューラルネットワークで表される関数の複雑さと感度の増大との関係について検討する。
  論文  参考訳（メタデータ） (2024-01-23T10:09:14Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [95.49699178874683]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Inferring effective couplings with Restricted Boltzmann Machines [3.150368120416908]
  生成モデルは、ニューラルネットワークの形でエネルギー関数に関連するボルツマン重みのレベルで観測された相関を符号化しようとする。 制限ボルツマンマシンと有効イジングスピンハミルトニアンとの直接写像を実装した解を提案する。
  論文  参考訳（メタデータ） (2023-09-05T14:55:09Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• A probabilistic latent variable model for detecting structure in binary data [0.6767885381740952]
  スパースバイナリデータにおけるパターンの雑音や近似的な繰り返しを検出するために,新しい確率的二項潜在変数モデルを導入する。 モデルの能力は、網膜ニューロンから記録された構造を抽出することによって示される。 映画刺激時の網膜神経節細胞に記録されたスパイク応答に本モデルを適用した。
  論文  参考訳（メタデータ） (2022-01-26T18:37:35Z)
• OR-Net: Pointwise Relational Inference for Data Completion under Partial Observation [51.083573770706636]
  この作業はリレーショナル推論を使って不完全なデータを埋めます。 本稿では,2つの点での相対性理論をモデル化するために,全関係ネットワーク (or-net) を提案する。
  論文  参考訳（メタデータ） (2021-05-02T06:05:54Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Interactions in information spread: quantification and interpretation using stochastic block models [3.5450828190071655]
  ソーシャルネットワークでは、ユーザーの行動は、対話する人々、フィード内のニュース、トレンドトピックから生じる。 本稿では、エンティティ間のインタラクションの役割を調査する新しいモデル、Interactive Mixed Membership Block Model (IMMSBM)を提案する。 推論タスクでは、それらを考慮すれば、結果の確率の最大150%の非相互作用モデルに対する平均的な相対的な変化につながる。
  論文  参考訳（メタデータ） (2020-04-09T14:22:10Z)
• Plannable Approximations to MDP Homomorphisms: Equivariance under Actions [72.30921397899684]
  学習した表現に作用同値を強制する対照的な損失関数を導入する。 損失が 0 であるとき、決定論的マルコフ決定過程の準同型が存在することを証明している。 本研究では, 決定論的MDPに対して, 抽象MDPの最適方針を元のMDPに引き上げることに成功した。
  論文  参考訳（メタデータ） (2020-02-27T08:29:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。