論文の概要: Monotone deep Boltzmann machines

• arxiv url: http://arxiv.org/abs/2307.04990v1
• Date: Tue, 11 Jul 2023 03:02:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-12 16:32:42.384174
• Title: Monotone deep Boltzmann machines
• Title（参考訳）: モノトンディープボルツマンマシン
• Authors: Zhili Feng, Ezra Winston, J. Zico Kolter
• Abstract要約: ディープボルツマンマシン(Deep Boltzmann Machine、DBM)は、双対エネルギー関数によって制御される多層確率モデルである。 我々は,各層で任意の自己接続が可能な新しい制限モデルであるモノトンDBMを開発した。 アクティベーションの特定の選択が、変動平均場解を与える固定点反復をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 86.50247625239406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Boltzmann machines (DBMs), one of the first ``deep'' learning methods ever studied, are multi-layered probabilistic models governed by a pairwise energy function that describes the likelihood of all variables/nodes in the network. In practice, DBMs are often constrained, i.e., via the \emph{restricted} Boltzmann machine (RBM) architecture (which does not permit intra-layer connections), in order to allow for more efficient inference. In this work, we revisit the generic DBM approach, and ask the question: are there other possible restrictions to their design that would enable efficient (approximate) inference? In particular, we develop a new class of restricted model, the monotone DBM, which allows for arbitrary self-connection in each layer, but restricts the \emph{weights} in a manner that guarantees the existence and global uniqueness of a mean-field fixed point. To do this, we leverage tools from the recently-proposed monotone Deep Equilibrium model and show that a particular choice of activation results in a fixed-point iteration that gives a variational mean-field solution. While this approach is still largely conceptual, it is the first architecture that allows for efficient approximate inference in fully-general weight structures for DBMs. We apply this approach to simple deep convolutional Boltzmann architectures and demonstrate that it allows for tasks such as the joint completion and classification of images, within a single deep probabilistic setting, while avoiding the pitfalls of mean-field inference in traditional RBMs.
• Abstract（参考訳）: ディープ・ボルツマン・マシン(Deep Boltzmann Machine、DBMs)は、ネットワーク内の全ての変数/ノードの確率を記述するペアエネルギー関数によって制御される多層確率モデルである。 実際には、DBMはより効率的な推論を可能にするために(層内接続を許可しない) \emph{restricted} Boltzmann machine (RBM) アーキテクチャを介して制約されることが多い。 この作業では、汎用dbmアプローチを再検討し、次のような質問をする。 効率的な(ほぼ)推論を可能にする設計に、他に可能な制限はありますか? 特に、各層における任意の自己接続を可能にするモノトンDBMという新しい制限モデルのクラスを開発するが、平均場固定点の存在と大域的一意性を保証する方法として \emph{weights} を制限する。 そこで本研究では,最近提案したモノトンディープ平衡モデルのツールを活用し,アクティベーションの特定の選択が一定点反復の結果,変動平均場解を与えることを示す。 このアプローチはまだほとんど概念的だが、DBMの完全な重み構造における効率的な近似推論を可能にする最初のアーキテクチャである。 このアプローチを単純な深部畳み込み型ボルツマンアーキテクチャに適用し、従来のRBMにおける平均場推論の落とし穴を回避しつつ、単一の深部確率的設定において、画像の連成補完や分類などのタスクを可能にすることを実証する。

関連論文リスト

• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• Fast Ensembling with Diffusion Schrödinger Bridge [17.334437293164566]
  ディープ・アンサンブル(Deep Ensemble、DE)アプローチは、様々な初期点からニューラルネットワークを訓練し、様々な局所最適点に向かって収束させることにより、ディープ・ニューラルネットワークの性能を高めるための簡単な手法である。 本稿では,Diffusion Bridge Network (DBN) と呼ばれる新しい手法を提案する。 この軽量ニューラルネットワークDBNで重アンサンブルを置換することにより、CIFAR-10、CIFAR-100、TinyImageNetなどのベンチマークデータセットの精度と不確実性を維持しながら、計算コストを削減した推論を実現した。
  論文  参考訳（メタデータ） (2024-04-24T11:35:02Z)
• Generalized Schrödinger Bridge Matching [54.171931505066]
  一般化Schr"odinger Bridge (GSB) 問題設定は、機械学習の内外を問わず、多くの科学領域で一般的である。 我々は最近の進歩に触発された新しいマッチングアルゴリズムである一般化シュリンガーブリッジマッチング(GSBM)を提案する。 このような一般化は条件最適制御の解法として、変分近似を用いることができることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:42:11Z)
• End-to-end Training of Deep Boltzmann Machines by Unbiased Contrastive Divergence with Local Mode Initialization [23.008689183810695]
  我々は、ディープボルツマンマシン(DBM)におけるバイアス勾配推定の問題に対処する。 本稿では,MH(Metropolis-Hastings)に基づく結合を提案し,ターゲット分布の局所モード付近の状態を初期化する。 提案を拒絶するMHの妥当性のため、カップリングは高い確率で1ステップで収束する傾向にあり、高い効率性をもたらす。
  論文  参考訳（メタデータ） (2023-05-31T09:28:02Z)
• Deep Model Reassembly [60.6531819328247]
  我々はDeep Model Reassembly(DeRy)と呼ばれる新しい知識伝達タスクを探索する。 DeRyの目標は、まず各モデルを固有のビルディングブロックに分割し、それから派生したブロックを選択的に再組み立てて、カスタマイズされたネットワークを生成することである。 ImageNetでは、最高の再組み立てモデルは微調整なしで78.6%のトップ1の精度を実現している。
  論文  参考訳（メタデータ） (2022-10-24T10:16:13Z)
• Deep Generalized Schr\"odinger Bridge [26.540105544872958]
  平均フィールドゲーム(Mean-Field Game)は、個々のエージェントの集合的振る舞いをモデル化する重要な数学的枠組みとして機能する。 エントロピー規則化された最適輸送モデルとして、Schr"odinger Bridgeは平均場構造を受け入れるために一般化可能であることを示す。 我々の手法はDeep Generalized Schr"odinger Bridge (DeepGSB) と呼ばれ、古典的な集団ナビゲーションMFGの解法よりも優れている。
  論文  参考訳（メタデータ） (2022-09-20T17:47:15Z)
• FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear Modulation [69.34011200590817]
  本稿では,特徴量線形変調の概念に基づく暗黙のアンサンブル手法であるFiLM-Ensembleを紹介する。 単一ディープネットワークのネットワークアクティベーションをFiLMで変調することにより、高多様性のモデルアンサンブルを得る。 我々は、FiLM-Ensembleが他の暗黙のアンサンブル法よりも優れており、ネットワークの明示的なアンサンブルの上限に非常に近いことを示す。
  論文  参考訳（メタデータ） (2022-05-31T18:33:15Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Mode-Assisted Unsupervised Learning of Restricted Boltzmann Machines [7.960229223744695]
  標準勾配更新とオフグラディエント方向を適切に組み合わせることで、従来の勾配法よりもトレーニングを劇的に改善することを示す。 モードトレーニングと呼ばれるこのアプローチは、収束相対エントロピー(KL分散)の低下に加えて、より高速なトレーニングと安定性を促進する。 我々が提案するモードトレーニングは、任意の勾配法と組み合わせて適用でき、より一般的なエネルギーベースのニューラルネットワーク構造に容易に拡張できるため、非常に多用途である。
  論文  参考訳（メタデータ） (2020-01-15T21:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。