論文の概要: Going deep, reaching further: What can Boltzmann machines efficiently represent?

• arxiv url: http://arxiv.org/abs/2610.39731v1
• Date: Thu, 29 Oct 2026 09:58:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.490289
• Title: Going deep, reaching further: What can Boltzmann machines efficiently represent?
• Title（参考訳）: Boltzmannマシンは、何を効率的に表現できるのか?
• Abstract要約: より深く、高次相互作用を持つ機械学習モデルは、より大きな関数の集合を効率的に表現できることを実証する。 この研究は、汎用機械学習モデルが効率的な表現能力を強く異なることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While universal approximation theorems theoretically underpin the representation capabilities of machine learning models, they have two shortcomings: They do not focus on efficient representations and they tend to be insensitive to depth and other heuristically important properties. In this work we show that these two shortcomings are intertwined. We prove that machine learning models which are deeper or have higher-order interactions can efficiently represent a larger set of functions, i.e. have larger efficient reach. It follows that deep Boltzmann machines (DBMs) have maximal efficient reach, restricted Boltzmann machines (RBMs) sub-maximal, and k-body generalizations of RBMs form a hierarchy between the two, even though all are universal. More generally, (i) we provide a full characterization of machine learning models with maximal efficient reach; (ii) we derive separations between deep and shallow models for three representation tasks; and (iii) we prove that the efficient reach of shallow models constitutes an infinite hierarchy indexed by the interaction order. The proofs draw on different methodologies, namely on (i) a recent characterization of universal spin models; (ii) computational complexity bounds for spin models; and (iii) communication complexity bounds applied to shallow models. This work shows that universal machine learning models can strongly differ in their efficient representation capabilities, and provides a theoretical foundation for heuristic observations.
• Abstract（参考訳）: 普遍近似定理は理論的には機械学習モデルの表現能力を支えるが、2つの欠点がある。 この研究で、これらの2つの欠点が絡み合っていることを示す。 より深い、あるいは高次の相互作用を持つ機械学習モデルは、より大きな関数セット、すなわちより効率的なリーチを効率的に表現できることを示す。 ディープ・ボルツマンマシン (DBMs) は最大効率のリーチを持ち、制限されたボルツマンマシン (RBMs) サブマックスであり、RBM の k 体一般化は、すべて普遍的であるにもかかわらず、両者の階層を形成する。 より一般的には (i)最大効率で到達可能な機械学習モデルの完全な特徴付けを提供する。 (ii)3つの表現課題のための深部モデルと浅部モデルとの分離を導出する。 3) 浅層モデルの効率的なリーチは相互作用順序によって指数付けられた無限階層を構成することを証明する。 証明は異なる方法論、すなわち i) 普遍スピンモデルの最近の特徴付け (ii)スピンモデルに対する計算複雑性境界、及び (iii)通信複雑性は浅層モデルに適用される。 この研究は、普遍的な機械学習モデルが効率的な表現能力に大きく違いがあることを示し、ヒューリスティックな観測の理論的基盤を提供する。

関連論文リスト

• UniG2U-Bench: Do Unified Models Advance Multimodal Understanding? [50.92401586025528]
  統一マルチモーダルモデルは、最近強力な生成能力を示したが、生成が理解を改善したかどうかはまだ不明である。 提案するUniG2U-Benchは,G2U(Generation-to-understanding)評価を7つのシステマと30のサブタスクに分類する総合ベンチマークである。
  論文  参考訳（メタデータ） (2026-03-03T18:36:16Z)
• When Bayesian Tensor Completion Meets Multioutput Gaussian Processes: Functional Universality and Rank Learning [53.17227599983122]
  関数テンソル分解は実数値インデックスを用いて多次元データを解析することができる。 そこで本研究では,Right-Revealing Functional Low-rank tensor completion (RR-F)法を提案する。 連続多次元信号に対するモデルの普遍近似特性を確立する。
  論文  参考訳（メタデータ） (2025-12-25T03:15:52Z)
• Models of Heavy-Tailed Mechanistic Universality [62.107333654304014]
  トレーニングニューラルネットワークにおける重み付け行動を引き起こす属性を探索するために,ランダム行列モデルのファミリーを提案する。 このモデルの下では、3つの独立した因子の組み合わせによって、尾翼の電力法則によるスペクトル密度が生じる。 ニューラルネットワークトレーニングの5段階以上において、ニューラルネットワークのスケーリング法則、軌道、および5段階以上の位相を含む重尾の出現に対する我々のモデルの影響について論じる。
  論文  参考訳（メタデータ） (2025-06-04T00:55:01Z)
• Inferring Higher-Order Couplings with Neural Networks [3.55026004901472]
  最大エントロピー法は複雑な系におけるペアワイズ相互作用のモデル化に広く用いられている。 現代の機械学習手法はそのような相互作用をモデル化することができるが、その解釈可能性はしばしば計算コストを禁ずる。 本研究では,制限ボルツマンマシンを一般化ポッツモデルにマッピングし,任意の順序で相互作用を体系的に抽出する手法を提案する。
  論文  参考訳（メタデータ） (2025-01-10T17:01:09Z)
• Monotone deep Boltzmann machines [86.50247625239406]
  ディープボルツマンマシン(Deep Boltzmann Machine、DBM)は、双対エネルギー関数によって制御される多層確率モデルである。 我々は,各層で任意の自己接続が可能な新しい制限モデルであるモノトンDBMを開発した。 アクティベーションの特定の選択が、変動平均場解を与える固定点反復をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-07-11T03:02:44Z)
• A simple probabilistic neural network for machine understanding [0.0]
  本稿では,機械理解のためのモデルとして,確率的ニューラルネットワークと内部表現の固定化について論じる。 内部表現は、それが最大関係の原理と、どのように異なる特徴が組み合わされるかについての最大無知を満たすことを要求して導出する。 このアーキテクチャを持つ学習機械は、パラメータやデータの変化に対する表現の連続性など、多くの興味深い特性を享受している、と我々は主張する。
  論文  参考訳（メタデータ） (2022-10-24T13:00:15Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• Exact representations of many body interactions with RBM neural networks [77.34726150561087]
  我々は、RBMの表現力を利用して、多体接触相互作用を1体演算子に正確に分解する。 この構成は、ハバードモデルでよく知られたヒルシュの変換を、核物理学におけるピオンレスFTのようなより複雑な理論に一般化する。
  論文  参考訳（メタデータ） (2020-05-07T15:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。