論文の概要: Nonlocal Transition Kernel for Efficient Learning of Restricted Boltzmann Machines

• arxiv url: http://arxiv.org/abs/2608.17450v1
• Date: Tue, 18 Aug 2026 07:31:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.254233
• Title: Nonlocal Transition Kernel for Efficient Learning of Restricted Boltzmann Machines
• Title（参考訳）: 制限ボルツマンマシンの効率的な学習のための非局所遷移カーネル
• Abstract要約: 制限付きボルツマンマシン(RBM)の学習は、正確な評価が一般的に難解な期待を必要とするため、計算的に困難である。 本稿では,DT で使用される RBM シーケンス上に定義された遷移カーネルを提案する。 提案するカーネルに基づく学習はより安定しており,BGSおよびDTに基づく学習で観測されるトレーニング失敗を軽減している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning restricted Boltzmann machines (RBMs) is computationally challenging because it requires expectations whose exact evaluation is generally intractable. The expectations are typically evaluated using a sampling approximation based on blocked Gibbs sampling (BGS), which is a local Markov chain Monte Carlo transition kernel. However, the locality of BGS can lead to poor sampling quality when the RBM has high energy barriers, thereby degrading learning performance. Deep tempering (DT), which performs parallel tempering over a sequence of learnable RBMs including the training RBM, alleviates this locality issue. However, DT algorithmically requires multiple steps to move through the RBM sequence to achieve a nonlocal transition. In this paper, we propose a transition kernel defined over the RBM sequence used in DT. The proposed kernel has a round-trip structure over the sequence, enabling nonlocal moves within a single transition while leaving the RBM sequence invariant. Numerical experiments show that the proposed kernel performs nonlocal transitions more frequently and achieves higher sampling quality with fewer transitions than BGS and DT. We further verify that learning based on the proposed kernel is more stable and mitigates the training failures observed with BGS- and DT-based learning.
• Abstract（参考訳）: 制限付きボルツマンマシン(RBM)の学習は、正確な評価が一般的に難解な期待を必要とするため、計算的に困難である。 期待値は通常、マルコフ連鎖モンテカルロ遷移カーネルであるブロックされたギブスサンプリング(BGS)に基づくサンプリング近似を用いて評価される。 しかし、BGSの局所性は、RBMが高いエネルギー障壁を持つ場合、サンプリング品質が低下し、学習性能が低下する可能性がある。 訓練RBMを含む一連の学習可能なRBM上で並列なテンパリングを行うディープテンパリング(DT)は、この局所性問題を緩和する。 しかし、DTはアルゴリズム的に、非局所遷移を達成するためにRBMシーケンスを通過するために複数のステップを必要とする。 本稿では,DT で使用される RBM シーケンス上に定義された遷移カーネルを提案する。 提案したカーネルは、配列上のラウンドトリップ構造を持ち、RBM配列の不変性を保ちながら、単一の遷移内で非局所移動を可能にする。 数値実験により、提案するカーネルは非局所遷移をより頻繁に実行し、BGSやDTよりも少ない遷移でサンプリング品質を達成することが示された。 さらに、提案したカーネルに基づく学習がより安定であることを確認し、BGSおよびDTベースの学習で観察されるトレーニング失敗を軽減する。

関連論文リスト

• TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs [83.78708832901194]
  大規模ビデオ言語モデル(LVLM)は、野生のマルチモーダル感情認識(ER)のようなマルチモーダルタスクにおいて顕著なパフォーマンスを示している。 しかし、現実のデプロイメントは依然として困難であり、テスト時にモダリティが欠落したりうる。 凍結した教師が自己蒸留により適応的な低学級の生徒を指導する手法を提案する。 MELD, DFEW, BAHを0%-50%のモダリティで実験した結果, この統一型適応復元設計はエントロピーベースの適応, RAG, およびパープレキシティベースの生成より一貫して優れていた。
  論文  参考訳（メタデータ） (2026-08-18T23:40:28Z)
• LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction [59.32834240526981]
  フローベース生成モデルは典型的には、決定論的常微分方程式(ODE)を解くことによってサンプリングされる 既存の流れモデルのためのGRPO法は、訓練中にオイラー時間ODEを非等方微分方程式(SDE)に置き換える。 本稿では,フローベースGRPOフレームワークであるLC-GRPOを紹介する。
  論文  参考訳（メタデータ） (2026-08-06T04:47:57Z)
• GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler [54.10960908347221]
  我々は、学習可能な密度から条件付きサンプリングとして潜在思考探索をモデル化し、このアイデアをガウス思想サンプリング(GTS)としてインスタンス化する。 GTSは、連続的推論状態における文脈依存摂動分布を予測し、バックボーンを凍結させながらGRPOスタイルのポリシー最適化を訓練する。
  論文  参考訳（メタデータ） (2026-02-15T09:57:47Z)
• Deterministic Continuous Replacement: Fast and Stable Module Replacement in Pretrained Transformers [0.7829352305480287]
  冷間開始再活性化は凍結した背骨を安定化させるが、制御された研究でこのコア安定性の課題を分離する。 単座研究において、DCRは、制御された注意置換に基づくゲーティングや蒸留ベースラインよりも早く収束し、より強いアライメントを得ることができ、不均一なオペレータスワップの基礎を確立した。
  論文  参考訳（メタデータ） (2025-11-24T00:55:14Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Learning with Restricted Boltzmann Machines: Asymptotics of AMP and GD in High Dimensions [31.75902683077129]
  Restricted Boltzmann Machine (RBM) は、入力分布を学習できる最も単純な生成ニューラルネットワークの1つである。 我々は、標準的なRBMトレーニング目標を、非分離正則化を伴うマルチインデックスモデルと同等の形式に単純化する。 特に, RBM が BBP 遷移と整合して, 最適計算弱回復しきい値に達することを示す。
  論文  参考訳（メタデータ） (2025-05-23T15:51:46Z)
• Accelerating Parallel Stochastic Gradient Descent via Non-blocking Mini-batches [3.736244431175932]
  ノンブロッキングSGDは異種環境におけるストラグラー問題に対処することができる。 非ブロッキングSGDは、異種環境において同じトレーニング損失に達するのに最大2倍の時間を要する。
  論文  参考訳（メタデータ） (2022-11-02T05:25:01Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Decentralized Stochastic Proximal Gradient Descent with Variance Reduction over Time-varying Networks [30.231314171218994]
  分散学習において、ノードのネットワークは、通常、その局所的な目的の有限サムである全体的な目的関数を最小化するために協力する。 そこで本研究では,分散縮小手法を利用して分散学習を高速化する新しいアルゴリズムDPSVRGを提案する。
  論文  参考訳（メタデータ） (2021-12-20T08:23:36Z)
• Positive-Negative Momentum: Manipulating Stochastic Gradient Noise to Improve Generalization [89.7882166459412]
  勾配雑音(SGN)は、ディープラーニングの暗黙の正規化として機能する。 深層学習を改善するためにランダムノイズを注入してSGNを人工的にシミュレートしようとした作品もある。 低計算コストでSGNをシミュレーションし、学習率やバッチサイズを変更することなく、PNM(Positive-Negative Momentum)アプローチを提案する。
  論文  参考訳（メタデータ） (2021-03-31T16:08:06Z)
• MLE-guided parameter search for task loss minimization in neural sequence modeling [83.83249536279239]
  ニューラル自己回帰シーケンスモデルは、さまざまな自然言語処理(NLP)タスクのシーケンスを生成するために使用される。 本稿では,現在のパラメータとその周辺における乱探索の混合である更新方向の分布から,最大至適勾配の分布をサンプリングする,最大至適誘導パラメータ探索(MGS)を提案する。 以上の結果から,MGS は,機械翻訳における最小リスクトレーニングに比べて,繰り返しや非終端の大幅な削減を図り,シーケンスレベルの損失を最適化できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-04T22:21:22Z)
• Quantum Semantic Learning by Reverse Annealing an Adiabatic Quantum Computer [0.0]
  Boltzmann Machines (RBM) は、画像再構成、パターン分類、教師なし学習への応用を含むニューラルネットワークである。 本稿では,AQC(Adiabatic Quantum Computers)における完全RBMの実現可能性を示す。 RBMの各学習ステップを開始するために,入力データを初期境界条件とする意味量子探索を実装した。
  論文  参考訳（メタデータ） (2020-03-25T01:33:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。