論文の概要: Avoiding Non-Integrable Beliefs in Expectation Propagation
- arxiv url: http://arxiv.org/abs/2604.04264v1
- Date: Sun, 05 Apr 2026 21:06:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:19.013548
- Title: Avoiding Non-Integrable Beliefs in Expectation Propagation
- Title(参考訳): 期待伝搬における不定形信条の回避
- Authors: Zilu Zhao, Jichao Chen, Dirk Slock,
- Abstract要約: ほとんどの文献では、著者は全てのメッセージを統合可能に保つために様々な方法を使っている。
本稿では,2つのEPフレームワークを提案し,EPが統合可能な信念を持つことを保証する。
- 参考スコア(独自算出の注目度): 12.148079564638879
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Expectation Propagation (EP) is a widely used iterative message-passing algorithm that decomposes a global inference problem into multiple local ones. It approximates marginal distributions as ``beliefs'' using intermediate functions called ``messages''. It has been shown that the stationary points of EP are the same as corresponding constrained Bethe Free Energy (BFE) optimization problem. Therefore, EP is an iterative method of optimizing the constrained BFE. However, the iterative method may fall out of the feasible set of the BFE optimization problem, i.e., the beliefs are not integrable. In most literature, the authors use various methods to keep all the messages integrable. In most Bayesian estimation problems, limiting the messages to be integrable shrinks the actual feasible set. Furthermore, in extreme cases where the factors are not integrable, making the message itself integrable is not enough to have integrable beliefs. In this paper, two EP frameworks are proposed to ensure that EP has integrable beliefs. Both of the methods allows non-integrable messages. We then investigate the signal recovery problem in Generalized Linear Model (GLM) using our proposed methods.
- Abstract(参考訳): expectation Propagation (EP) は、グローバルな推論問題を複数のローカルに分解する反復的メッセージパッシングアルゴリズムである。
辺分布を ``messages'' と呼ばれる中間関数を使って ``beliefs'' と近似する。
EPの定常点は、対応する制約されたBethe Free Energy (BFE)最適化問題と同一であることが示されている。
したがって、EPは制約されたBFEを最適化する反復的な方法である。
しかし、反復法は、BFE最適化問題の実現可能な集合から外れ、つまり、信念は可積分ではない。
ほとんどの文献では、著者は全てのメッセージを統合可能に保つために様々な方法を使っている。
ほとんどのベイズ推定問題では、メッセージの可積分性を制限することは、実際の実現可能な集合を縮小する。
さらに、要素が可積分でない極端な場合、メッセージ自体を可積分にすることは、可積分な信念を持つのに十分ではない。
本稿では,2つのEPフレームワークを提案し,EPが統合可能な信念を持つことを保証する。
どちらの方法も、統合不可能なメッセージを可能にする。
提案手法を用いた一般化線形モデル(GLM)における信号回復問題について検討する。
関連論文リスト
- Cross-modal Full-mode Fine-grained Alignment for Text-to-Image Person Retrieval [54.90229711181207]
TIPR (Text-to-Image Person Retrieval) は、与えられたテキストクエリに基づいて、最も関連性の高い人物画像を取得することを目的としている。
TIPRの鍵となる課題は、テキストと視覚のモダリティの効果的なアライメントを達成することである。
FMFA, クロスモーダルフルモーデファインファインファインファインアライメントフレームワークを提案する。
論文 参考訳(メタデータ) (2025-09-17T07:12:05Z) - Probabilistically Plausible Counterfactual Explanations with Normalizing Flows [2.675793767640172]
本稿では,確率論的に妥当な反事実的説明を生成する新しい手法であるPPCEFを提案する。
本手法は, パラメータ分布の特定の族を仮定することなく, 明示密度関数を直接最適化することにより, 精度を向上する。
PPCEFは、機械学習モデルを解釈し、公正性、説明責任、AIシステムの信頼を改善するための強力なツールである。
論文 参考訳(メタデータ) (2024-05-27T20:24:03Z) - Momentum Provably Improves Error Feedback! [54.93799845077906]
未処理の場合、圧縮による誤差は指数的トレーニングの振る舞いを伝播させる。
EF21-SGDMは、従来のエラーフィードバックアルゴリズムの通信とサンプルの複雑さを改善している。
論文 参考訳(メタデータ) (2023-05-24T13:52:02Z) - Federated Learning as Variational Inference: A Scalable Expectation
Propagation Approach [66.9033666087719]
本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。
我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
論文 参考訳(メタデータ) (2023-02-08T17:58:11Z) - Projective Integral Updates for High-Dimensional Variational Inference [0.0]
変分推論は、完全な後部に立つパラメータの簡易分布を最適化することにより、予測の不確実性を改善することを目指している。
この研究は、任意の可能なログ密度を与えられた基底から関数の線形結合として表現できる場合に適用可能な変分推論のための固定点最適化を導入する。
QNVBのPyTorch実装は、競合する方法よりも訓練中のモデルの不確実性をよりよく制御できる。
論文 参考訳(メタデータ) (2023-01-20T00:38:15Z) - Benefits of Monotonicity in Safe Exploration with Gaussian Processes [50.71125084216603]
動作の集合上で未知の関数を逐次最大化する問題を考察する。
M-SafeUCBは、安全性、適切に定義された後悔の念、安全境界全体の発見という理論的な保証を享受していることを示す。
論文 参考訳(メタデータ) (2022-11-03T02:52:30Z) - Under-Approximating Expected Total Rewards in POMDPs [68.8204255655161]
我々は、部分的に観測可能なマルコフ決定プロセス(POMDP)において、ゴール状態に達するための最適な総報酬を考える。
我々は、MILP(mixed-integer linear programming)を用いて、そのような最小限の確率シフトを見つけ、実験により、我々の手法がかなりうまく拡張可能であることを示す。
論文 参考訳(メタデータ) (2022-01-21T16:43:03Z) - Optimum Noise Mechanism for Differentially Private Queries in Discrete Finite Sets [3.5379819043314176]
本稿では,離散的かつ有限な問合せセットに適した最適ノイズマス確率関数を設計するための新しいフレームワークを提案する。
我々のフレームワークは、任意の$(epsilon, delta)$制約の下でノイズ分布を最適化し、応答の精度と有用性を向上させる。
数値実験により,提案手法の最先端手法と比較して,最適機構の優れた性能が示された。
論文 参考訳(メタデータ) (2021-11-23T05:24:34Z) - Entropy, Information, and the Updating of Probabilities [0.0]
本稿では,推論の一般的な枠組みとして,最大エントロピー法に対する特定のアプローチを概説する。
ME法は1つの後部の単なる選択を越えているが、他の分布がどれだけ少ないかという問題にも対処する。
論文 参考訳(メタデータ) (2021-07-09T16:27:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。