論文の概要: Learning noisy-OR Bayesian Networks with Max-Product Belief Propagation
- arxiv url: http://arxiv.org/abs/2302.00099v1
- Date: Tue, 31 Jan 2023 21:00:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-02 18:18:19.990568
- Title: Learning noisy-OR Bayesian Networks with Max-Product Belief Propagation
- Title（参考訳）: Max-Product Belief Propagationを用いた雑音やベイジアンネットワークの学習
- Authors: Antoine Dedieu, Guangyao Zhou, Dileep George, Miguel Lazaro-Gredilla
- Abstract要約: 変分推論は、複雑な潜在構造を持つノイズやBNを学習するために提案された主要な手法である。
複雑な潜在構造を持つ雑音やBNを学習するための代替アルゴリズムとして,並列最大積を提案する。
- 参考スコア（独自算出の注目度）: 12.326502890179105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Noisy-OR Bayesian Networks (BNs) are a family of probabilistic graphical
models which express rich statistical dependencies in binary data. Variational
inference (VI) has been the main method proposed to learn noisy-OR BNs with
complex latent structures (Jaakkola & Jordan, 1999; Ji et al., 2020; Buhai et
al., 2020). However, the proposed VI approaches either (a) use a recognition
network with standard amortized inference that cannot induce
``explaining-away''; or (b) assume a simple mean-field (MF) posterior which is
vulnerable to bad local optima. Existing MF VI methods also update the MF
parameters sequentially which makes them inherently slow. In this paper, we
propose parallel max-product as an alternative algorithm for learning noisy-OR
BNs with complex latent structures and we derive a fast stochastic training
scheme that scales to large datasets. We evaluate both approaches on several
benchmarks where VI is the state-of-the-art and show that our method (a)
achieves better test performance than Ji et al. (2020) for learning noisy-OR
BNs with hierarchical latent structures on large sparse real datasets; (b)
recovers a higher number of ground truth parameters than Buhai et al. (2020)
from cluttered synthetic scenes; and (c) solves the 2D blind deconvolution
problem from Lazaro-Gredilla et al. (2021) and variant - including binary
matrix factorization - while VI catastrophically fails and is up to two orders
of magnitude slower.
- Abstract（参考訳）: Noisy-OR Bayesian Networks (BN) は、バイナリデータにおけるリッチな統計的依存関係を表現する確率的グラフィカルモデルのファミリーである。
変分推論(VI)は、複雑な潜伏構造を持つノイズやBNを学習するための主要な手法である(Jaakkola & Jordan, 1999; Ji et al., 2020; Buhai et al., 2020)。
しかし 提案されたviは
(a) ``explaining-away'' を誘導できない標準償却推論付き認識ネットワークを使用する、又は
(b) 悪い局所最適に弱い単純な平均場後部(MF)を仮定する。
既存のMF VIメソッドはMFパラメータを逐次更新するので、本質的に遅い。
本稿では,複雑な潜在構造を持つ雑音やBNを学習するための代替アルゴリズムとして並列最大積を提案し,大規模データセットにスケールする高速確率的トレーニングスキームを導出する。
viが最先端のベンチマークで両手法を評価し,本手法が有効であることを示す。
a) 大きなスパース実データセット上の階層的潜在構造を持つノイズやBNを学習するために、Ji et al. (2020) よりも優れたテスト性能を達成する。
(b)バラバラな合成シーンからブハイ等(2020年)よりも高い基底的真理パラメータを回収する。
(c)Lazaro-Gredilla et al. (2021)の2次元ブラインドデコンボリューション問題を解き、二元行列分解を含む変種を解き、VIは破滅的に失敗し、最大2桁も遅くなる。
関連論文リスト
- ProFL: Performative Robust Optimal Federated Learning [18.378516394839316]
Performative Prediction(PP)は、機械学習モデルのトレーニング中に発生する分散シフトをキャプチャするフレームワークである。
本稿では,汚染データから最適学習を行うアルゴリズムであるPerformative optimal Federated Learning (ProFL)を提案する。
論文 参考訳（メタデータ） (2024-10-23T17:57:14Z) - Scalable Random Feature Latent Variable Models [8.816134440622696]
ブロック座標降下変動推論(BCD-VI)と呼ばれる明示的なPDFと新しいVBIアルゴリズムを得るために,ディリクレプロセス(DP)のスティック破断構成を導入する。
これにより、RFLVMのスケーラブルバージョン、あるいは略してSRFLVMの開発が可能になる。
論文 参考訳（メタデータ） (2024-10-23T09:22:43Z) - Combating Bilateral Edge Noise for Robust Link Prediction [56.43882298843564]
本稿では,RGIB(Robust Graph Information Bottleneck)という情報理論の原則を提案し,信頼性の高い監視信号を抽出し,表現の崩壊を回避する。
RGIB-SSLとRGIB-REPの2つのインスタンス化は、異なる手法の利点を活用するために検討されている。
6つのデータセットと3つのGNNの様々なノイズシナリオによる実験は、我々のRGIBインスタンスの有効性を検証する。
論文 参考訳（メタデータ） (2023-11-02T12:47:49Z) - Fast Latent Factor Analysis via a Fuzzy PID-Incorporated Stochastic
Gradient Descent Algorithm [1.984879854062214]
勾配降下(SGD)に基づく潜在因子分析モデルは,HDI行列から貴重な情報を抽出するのに極めて有効である。
標準SGDアルゴリズムは、過去の更新情報を考慮せずに、現在のインスタンスエラーの勾配に依存する潜在因子を学習する。
本稿では, ファジィPIDを組み込んだSGDアルゴリズムを2つのアイデアで提案する: 1) 過去の更新情報をPIDの原則に従って効率的な方法で再設計し, 2) ハイパーラーニングを実装し, ファジィ規則に従う適応を得る。
論文 参考訳（メタデータ） (2023-03-07T14:51:09Z) - Counterfactual Intervention Feature Transfer for Visible-Infrared Person
Re-identification [69.45543438974963]
視覚赤外人物再識別タスク(VI-ReID)におけるグラフベースの手法は,2つの問題により,悪い一般化に悩まされている。
十分に訓練された入力特徴は、グラフトポロジーの学習を弱め、推論過程において十分に一般化されない。
本稿では,これらの問題に対処するためのCIFT法を提案する。
論文 参考訳（メタデータ） (2022-08-01T16:15:31Z) - Reinforcement Learning for Branch-and-Bound Optimisation using
Retrospective Trajectories [72.15369769265398]
機械学習は分岐のための有望なパラダイムとして登場した。
分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。
我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
論文 参考訳（メタデータ） (2022-05-28T06:08:07Z) - Large Scale Time-Series Representation Learning via Simultaneous Low and
High Frequency Feature Bootstrapping [7.0064929761691745]
本稿では,非コントラスト型自己教師型学習手法を提案する。
提案手法は生の時系列データを入力として、モデルの2つのブランチに対して2つの異なる拡張ビューを生成する。
モデルの堅牢性を実証するために,5つの実世界の時系列データセットに関する広範な実験とアブレーション研究を行った。
論文 参考訳（メタデータ） (2022-04-24T14:39:47Z) - Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent
Signals: Application to Hyperspectral Imaging [71.57324258813675]
相互依存信号のデータセットは、列が強い依存を示す行列として定義される。
ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。
ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
論文 参考訳（メタデータ） (2022-03-29T21:00:39Z) - Generalizing Variational Autoencoders with Hierarchical Empirical Bayes [6.273154057349038]
確率的生成モデルのための計算的に安定なフレームワークである階層的経験的ベイズオートエンコーダ(HEBAE)を提案する。
鍵となる貢献は2つであり、まず、符号化分布を階層的に優先することで、再構成損失関数の最小化と過正規化の回避とのトレードオフを適応的にバランスさせることで、利益を得る。
論文 参考訳（メタデータ） (2020-07-20T18:18:39Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。