論文の概要: Learning from Noise: Effective-Rank Collapse and Out-of-Distribution Rejection in Restricted Boltzmann Machines
- arxiv url: http://arxiv.org/abs/2607.10506v1
- Date: Sat, 11 Jul 2026 23:31:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.445515
- Title: Learning from Noise: Effective-Rank Collapse and Out-of-Distribution Rejection in Restricted Boltzmann Machines
- Title（参考訳）: 騒音からの学習:制限ボルツマン機械における有効軌道崩壊と分布外還元
- Abstract要約: 我々は、誘導された可視的相互作用のスペクトルを通して、障害モードを解析する。
エネルギーベース分類器の相互作用スペクトルと自由エネルギー景観の両方をランダムな補助露光で再現できることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Restricted Boltzmann machines (RBMs) represent data by shaping an energy landscape over visible and hidden configurations, but their discriminative use is fragile under out-of-distribution (OOD) inputs: samples outside the training distribution can be absorbed into one of the learned class basins rather than rejected. Here, we analyze this failure mode through the spectrum of the induced visible--visible interaction $J=WW^{T}$, where \(W\) is the visible--hidden weight matrix. Relative to a Marchenko--Pastur random-matrix reference, conventional training spreads spectral weight into many weak, bulk-compatible directions, increasing the effective rank of $J$. When auxiliary random binary images are assigned to a rejection label during training, the learned interaction undergoes effective-rank collapse: weak bulk-like modes are depleted, spectral weight concentrates into fewer dominant eigendirections, and the effective rank of $J$ approaches that of the empirical data covariance matrix. The resulting RBM rejects structured OOD image datasets while preserving MNIST classification accuracy, showing that random auxiliary exposure can reshape both the interaction spectrum and the free-energy landscape of an energy-based classifier.
- Abstract（参考訳）: 制限されたボルツマンマシン(RBM)は、可視的および隠蔽的な構成上のエネルギー景観を形作ってデータを表すが、その識別的利用は、アウト・オブ・ディストリビューション(OOD)入力下で脆弱である。
ここでは、誘導可視相互作用$J=WW^{T}$のスペクトルを用いて、この障害モードを解析する。
Marchenko-Pasturランダム行列参照と比較して、従来のトレーニングはスペクトルの重みを多くの弱い、バルク互換な方向へと広げ、有効ランクを$J$にする。
トレーニング中に補助ランダムな二値画像がリジェクションラベルに割り当てられると、学習された相互作用は効果的にランク崩壊する:弱いバルクモードが枯渇し、スペクトルの重みがより支配的な固有方向に集中し、経験的データ共分散行列のJ$の効果的なランクが近づく。
RBMは、MNIST分類精度を維持しながら構造化されたOOD画像データセットを拒絶し、エネルギーベース分類器の相互作用スペクトルと自由エネルギーランドスケープの両方をランダムな補助露光で再現できることを示した。
関連論文リスト
- From Latent Space to Training Data: Explainable Specialization in Minimal MLPs [0.47554242259005197]
トレーニングバイアスが隠れたニューロンを最小の1つの隠れた層に特化させるかどうかを検討する。
均一にサンプリングされた1次元データセットの実験では、N = 3 から N = 100 までの安定なパターンが480個の制御されたランで示されている。
論文 参考訳（メタデータ） (2026-05-25T15:18:22Z) - Anchoring the Eigengap: Cross-Modal Spectral Stabilization for Sample-Efficient Representation Learning [0.8326214193432122]
視力モデルが低データ状態,特にラベル付きサンプルが不足している医療画像において,急速に低下していることが示される。
我々は、回復可能な次元K(N)を定量化する有限サンプル表現学習の理論を開発する。
マルチモーダルトレーニングは,非モーダルモデルでも,より安定なモードを維持し,クラス分離を改善する。
論文 参考訳（メタデータ） (2026-05-09T07:49:43Z) - Hidden Unit Interpretability in RBM Quantum States:Encoding Antiferromagnetic Order in Heisenberg Spin Rings [0.0]
本研究は, 強磁性地盤に特徴的な強磁性のパターンを捉えるために, 個別の隠れユニットが自然に特殊化することを示す。
個々の隠れた単位は完全な反強磁性相関を再現せず、量子秩序が集団符号化によって現れることを示す。
論文 参考訳（メタデータ） (2026-03-25T11:51:59Z) - SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。
行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。
我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
論文 参考訳（メタデータ） (2026-01-06T19:47:11Z) - Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning [52.26396748560348]
ランダム行列によって駆動される高次元力学系について概説する。
機械学習理論における学習と一般化の単純なモデルへの応用に焦点を当てる。
論文 参考訳（メタデータ） (2026-01-03T00:12:32Z) - From Low Rank Gradient Subspace Stabilization to Low-Rank Weights: Observations, Theories, and Applications [85.17672240603011]
大規模言語モデルにおける重み行列の非一様低ランク特性について検討する。
WeLore(Weight Low-Rank Projection)は、重み圧縮とメモリ効率の微調整を一体化したものである。
論文 参考訳（メタデータ） (2024-07-15T21:05:20Z) - Learning to Re-weight Examples with Optimal Transport for Imbalanced
Classification [74.62203971625173]
不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。
不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。
本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
論文 参考訳（メタデータ） (2022-08-05T01:23:54Z) - An Embedding-Dynamic Approach to Self-supervised Learning [8.714677279673738]
本稿では,画像の埋め込みを点粒子として扱うとともに,モデル最適化を粒子系の動的過程として考察する。
我々の動的モデルは、類似した画像に対する魅力的な力、局所的な崩壊を避けるための局所的な分散力、そして粒子のグローバルな均質分布を達成するための大域的な分散力を組み合わせた。
論文 参考訳（メタデータ） (2022-07-07T19:56:20Z) - Fast Ensemble Learning Using Adversarially-Generated Restricted
Boltzmann Machines [0.0]
Restricted Boltzmann Machine (RBM)は近年注目され、データ確率分布をモデル化するエネルギーベースの構造に依存している。
本稿では,事前学習した重み行列がGAN入力として機能するAdversarial Learningを用いて,RBMを人工的に生成することを提案する。
画像再構成および画像分類タスクにおける提案手法の有効性を実験的に検証した。
論文 参考訳（メタデータ） (2021-01-04T16:00:47Z) - Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。
本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。
ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
論文 参考訳（メタデータ） (2020-12-13T03:41:52Z) - Shaping Deep Feature Space towards Gaussian Mixture for Visual
Classification [74.48695037007306]
視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。
分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。
提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
論文 参考訳（メタデータ） (2020-11-18T03:32:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。