論文の概要: Top-Down Bayesian Posterior Sampling for Sum-Product Networks
- arxiv url: http://arxiv.org/abs/2406.12353v1
- Date: Tue, 18 Jun 2024 07:36:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 20:16:07.425295
- Title: Top-Down Bayesian Posterior Sampling for Sum-Product Networks
- Title（参考訳）: サムプロダクタンスネットワークのためのトップダウンベイズ後方サンプリング
- Authors: Soma Yokoi, Issei Sato,
- Abstract要約: Sum-product Network(SPN)は、基本確率演算の正確かつ高速な評価を特徴とする確率モデルである。
本研究では,大規模SPN上で効率的に実装可能なベイズ学習手法を開発することを目的とした。
提案手法は,20以上のデータセットの数値実験において,学習時間の複雑性を向上し,計算速度を100倍以上に高速化し,予測性能に優れることを示した。
- 参考スコア（独自算出の注目度）: 32.01426831450348
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sum-product networks (SPNs) are probabilistic models characterized by exact and fast evaluation of fundamental probabilistic operations. Its superior computational tractability has led to applications in many fields, such as machine learning with time constraints or accuracy requirements and real-time systems. The structural constraints of SPNs supporting fast inference, however, lead to increased learning-time complexity and can be an obstacle to building highly expressive SPNs. This study aimed to develop a Bayesian learning approach that can be efficiently implemented on large-scale SPNs. We derived a new full conditional probability of Gibbs sampling by marginalizing multiple random variables to expeditiously obtain the posterior distribution. The complexity analysis revealed that our sampling algorithm works efficiently even for the largest possible SPN. Furthermore, we proposed a hyperparameter tuning method that balances the diversity of the prior distribution and optimization efficiency in large-scale SPNs. Our method has improved learning-time complexity and demonstrated computational speed tens to more than one hundred times faster and superior predictive performance in numerical experiments on more than 20 datasets.
- Abstract（参考訳）: Sum-product Network(SPN)は、基本確率演算の正確かつ高速な評価を特徴とする確率モデルである。
その優れた計算トラクタビリティは、時間制約のある機械学習や精度要件、リアルタイムシステムなど、多くの分野で応用されている。
しかし、高速推論をサポートするSPNの構造的制約は、学習時間の複雑さを増大させ、高度に表現力のあるSPNを構築するのに障害となる可能性がある。
本研究では,大規模SPN上で効率的に実装可能なベイズ学習手法を開発することを目的とした。
我々は,複数の確率変数を余剰化することにより,ギブスサンプリングの新しい完全条件付き確率を導出し,後続分布を高速に取得した。
複雑性解析の結果,サンプリングアルゴリズムは可能な限り最大のSPNでも効率的に動作することがわかった。
さらに,大規模SPNにおける事前分布の多様性と最適化効率のバランスをとるハイパーパラメータチューニング手法を提案する。
提案手法は,20以上のデータセットの数値実験において,学習時間の複雑性を向上し,計算速度を100倍以上に高速化し,予測性能に優れることを示した。
関連論文リスト
- Fast Shapley Value Estimation: A Unified Approach [71.92014859992263]
冗長な手法を排除し、単純で効率的なシェープリー推定器SimSHAPを提案する。
既存手法の解析において、推定器は特徴部分集合からランダムに要約された値の線形変換として統一可能であることを観察する。
実験により,SimSHAPの有効性が検証され,精度の高いShapley値の計算が大幅に高速化された。
論文 参考訳（メタデータ） (2023-11-02T06:09:24Z) - A Specialized Semismooth Newton Method for Kernel-Based Optimal
Transport [92.96250725599958]
カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。
SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
論文 参考訳（メタデータ） (2023-10-21T18:48:45Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Faster Stochastic Variance Reduction Methods for Compositional MiniMax
Optimization [50.10952609321302]
合成ミニマックス最適化は、さまざまな機械学習領域において重要な課題である。
構成最小最適化の現在の方法は、最適以下の複雑さや、大きなバッチサイズに大きく依存することによって悩まされている。
本稿では,Nested STOchastic Recursive Momentum (NSTORM)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-08-18T14:57:21Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Tackling System and Statistical Heterogeneity for Federated Learning
with Adaptive Client Sampling [34.187387951367526]
フェデレーテッド・ラーニング(FL)アルゴリズムは、参加者数が大きい場合、通常、各(部分的な参加)の割合をサンプリングする。
最近の研究はFLの収束解析に焦点を当てている。
任意のクライアントサンプリング確率を持つFLアルゴリズムの新しい収束バウンダリを得る。
論文 参考訳（メタデータ） (2021-12-21T14:28:40Z) - Linear Constraints Learning for Spiking Neurons [0.0]
本研究では,学習回数を削減した教師付きマルチスパイク学習アルゴリズムを提案する。
実験の結果,本手法はMNISTデータセット上の既存のアルゴリズムと比較して効率が良いことがわかった。
論文 参考訳（メタデータ） (2021-03-10T13:54:05Z) - Improving Neural Network Training in Low Dimensional Random Bases [5.156484100374058]
トレーニング中にランダムなプロジェクションを固定し続けることは、最適化に有害であることを示す。
本稿では,各ステップにおけるランダム部分空間の再描画を提案する。
ネットワークの異なる部分に独立したプロジェクションを適用することで、ネットワーク次元が大きくなるにつれて、近似をより効率的にすることで、さらなる改善を実現する。
論文 参考訳（メタデータ） (2020-11-09T19:50:19Z) - Quantum-enhanced analysis of discrete stochastic processes [0.8057006406834467]
離散過程(DSP)の特性関数を計算する量子アルゴリズムを提案する。
時間ステップの数と線形にしか成長しない量子回路要素の数を用いて、確率分布を完全に定義する。
このアルゴリズムはすべての軌道を考慮に入れ、重要なサンプリングの必要性を排除している。
論文 参考訳（メタデータ） (2020-08-14T16:07:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。