論文の概要: Direct Message Approximation (DMA): A Consistency-Based Framework for Tractable Approximate Inference on Factor Graphs
- arxiv url: http://arxiv.org/abs/2609.29466v1
- Date: Thu, 24 Sep 2026 12:24:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.920387
- Title: Direct Message Approximation (DMA): A Consistency-Based Framework for Tractable Approximate Inference on Factor Graphs
- Title(参考訳): 直接メッセージ近似(DMA: Consistency-based Framework for Tractable Approximate Inference on Factor Graphs)
- Abstract要約: 直接メッセージ近似 (Direct Message Approximation, DMA) を導入する。
正規化可能な因子に対しては、メッセージ構築を導くために一貫性条件(他のすべてのメッセージがDiracデルタであるときに正確性を要求する)を定義します。
- 参考スコア(独自算出の注目度): 4.9909918970821865
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Approximate message passing on factor graphs underlies two dominant families of probabilistic inference algorithms: expectation propagation (EP) and variational message passing (VMP). Both methods approximate the marginal at each factor edge, forcing an iterative round-robin schedule, risking negative-precision messages, and, for VMP, collapsing to point estimates at Dirac-delta factors. We introduce Direct Message Approximation (DMA), which approximates factor-to-variable messages directly rather than the marginal. For normalisable factors, we define a consistency condition (requiring exactness when all other incoming messages are Dirac deltas) to guide message construction. We prove a master theorem (proper messages, any graph) bounding marginal KL from message KL, with three structural corollaries: Dirac-input consistency, no EP-style inner-loop iteration, and no negative-precision messages. Further, we prove a complementary $O(1/r^2)$ guarantee for the inherently improper backward message of the product factor, whose closed-form treatment has resisted prior work. As a concrete instantiation, we derive explicit DMA messages for the product and leaky-ReLU factors and assemble a Bayesian neural network (BNN) inference algorithm with one forward/backward sweep per training example and no gradient learning-rate hyperparameter, validating that the structural guarantees translate to predictive uncertainty that widens in data-sparse regions, including under model mismatch.
- Abstract(参考訳): 因子グラフ上の近似メッセージパッシングは、予測伝搬(EP)と変分メッセージパッシング(VMP)という確率的推論アルゴリズムの2つの支配的なファミリーの下にある。
どちらの手法も各係数辺の辺りを近似し、反復的なラウンドロビンスケジュールを強制し、負の精度のメッセージのリスクを冒し、VMPではディラックデルタ因子の点推定に崩壊する。
直接メッセージ近似 (Direct Message Approximation, DMA) を導入する。
正規化可能な因子に対しては、メッセージ構築を導くために一貫性条件(他のすべてのメッセージがDiracデルタであるときに正確性を要求する)を定義します。
我々は、メッセージ KL から境界KL を有界に有するマスター定理(適切なメッセージ、グラフ)を証明し、3つの構造的座標系: ディラック・インプット整合性、EPスタイルのインナーループ反復なし、負の精度メッセージなし。
さらに, クローズドフォーム処理が先行処理に抵抗する製品因子の本質的に不適切なバックワードメッセージに対して, 補体$O(1/r^2)$保証を証明した。
具体的なインスタンス化として、製品および漏洩ReLU因子に対する明示的なDMAメッセージを導出し、トレーニング例1つにつき1つの前方/後方スイープと勾配学習率ハイパーパラメータのないベイズニューラルネットワーク(BNN)推論アルゴリズムを組み立て、構造保証がモデルミスマッチを含むデータスパース領域に広がる予測不確実性に変換されることを検証した。
関連論文リスト
- Information Geometry of Message Passing [0.0]
変分推論の自然な段階的定常条件はForney型因子グラフ上にエッジ局所形式を持つことを示す。
結果のスキームをNGMP(Natural-gradient message passing)と呼ぶ。
論文 参考訳(メタデータ) (2026-08-16T20:36:58Z) - GeoFlowVLM: Geometry-Aware Joint Uncertainty for Frozen Vision-Language Embedding [3.0708725114491293]
ペア化された$ell$-normalized dual-encoder VLM の結合分布を学習するポストホックアダプタとして textbfGeoFlowVLM を提案する。
整合性の結果, 人口制限下では, トレーニングされたネットワークは, 接合流と両モード条件流を露呈することがわかった。
この単一モデルから2つの量を得る:Fano型境界による決定論的解釈でアレター的曖昧さを定量化する条件付き検索エントロピーと、関節NLLの正確な連鎖ルール分解によって正当化される限界特異性スコアである。
論文 参考訳(メタデータ) (2026-05-13T11:12:18Z) - Neural Continuous-Time Markov Chain: Discrete Diffusion via Decoupled Jump Timing and Direction [18.20305761007799]
我々は,2つの専用ネットワークヘッドを用いて,エフェキシットレート(ジャンプ時)とエフェジュンプ分布(ジャンプ時)で逆処理をパラメータ化するtextbfNeural CTMCを提案する。
我々は、エビデンスローバウンド(ELBO)が、真と学習された逆過程の経路空間KL分散と$$非依存定数で異なることを示す。
また, トラクタブル条件付きサロゲートは標準正則性仮定の下で, 対応する限界逆プロセス対象の勾配と最小化を保っていることを示す。
論文 参考訳(メタデータ) (2026-04-17T04:40:19Z) - MAny: Merge Anything for Multimodal Continual Instruction Tuning [52.50936513604062]
textbfMAny(textbfMAny)は、textbfCross-modal textbfProjection textbfMergingを通じてタスク固有の知識を統合するフレームワークである。
textbfLow-rank textbfParameter textbfMerging (textbfLPM)
論文 参考訳(メタデータ) (2026-04-15T15:57:23Z) - The Inevitability of Side-Channel Leakage in Encrypted Traffic [18.365496056967917]
効率優先のシステムでは、少なくとも1つのアプリケーションペアが識別可能である場合、リークは避けられないことを示す。
これにより、暗号化されたトラフィックサイドチャネルのための厳密な情報理論の基礎が確立される。
論文 参考訳(メタデータ) (2026-02-15T08:55:19Z) - Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。
統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
論文 参考訳(メタデータ) (2024-08-25T04:07:18Z) - Prototype-based Aleatoric Uncertainty Quantification for Cross-modal
Retrieval [139.21955930418815]
クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。
しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。
本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-29T09:41:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。