論文の概要: Neural expectation-maximization and meta-models

• arxiv url: http://arxiv.org/abs/2610.12741v1
• Date: Thu, 08 Oct 2026 21:37:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.287438
• Title: Neural expectation-maximization and meta-models
• Title（参考訳）: ニューラル期待-最大化とメタモデル
• Abstract要約: 自己注意は入力条件付き動的構造化MRF上で最大生産型LPPに微分可能な近似を実装していることを示す。 本稿では,入力がインスタンス固有のパラメータを生成する設計パラダイムであるEmphmeta-modelを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We interpret Transformer networks as learned approximations to a hybrid probabilistic-inference procedure that combines max-product Loopy Belief Propagation (LBP) with Expectation--Maximization (EM). In this view, a Transformer performs inference in partially observed Markov Random Fields (MRFs) whose structure and parameters are not given a priori but are inferred from data. We show that self-attention implements a differentiable approximation to max-product LBP on an input-conditioned, dynamically structured MRF, with attention weights encoding learned structural affinities. We further establish an EM correspondence at the level of depth: each layer updates latent representations in an E-step-like forward pass, while the transition $θ^{(l)} \to θ^{(l+1)}$ across layers acts as an implicit M-step. Building on this interpretation, we introduce \emph{meta-models}, a design paradigm in which inputs generate instance-specific parameters, unifying mechanisms such as self-attention, mixture-of-experts, and gated units within a single framework. Empirical results support the proposed perspective.
• Abstract（参考訳）: 我々はトランスフォーマーネットワークを学習した近似として解釈し,最大積Loopy Belief Propagation(LBP)と期待最大化(EM)を組み合わせたハイブリッド確率推論手法を提案する。 この観点では、トランスフォーマーは、構造とパラメータが事前付与されるのではなく、データから推測される、部分的に観察されたマルコフランダムフィールド(MRF)で推論を行う。 自己注意は入力条件付き動的構造化MRF上での最大積LPPに対する微分近似を,学習された構造親和性を符号化した注意重みで実現していることを示す。 各層はE-ステップのような前方通過で潜在表現を更新し、遷移 $θ^{(l)} \to θ^{(l+1)}$ は暗黙のM-ステップとして振る舞う。 この解釈に基づいて,インプットがインスタンス固有のパラメータを生成する設計パラダイムである「emph{meta-models」を導入する。 実証的な結果は提案された視点を支持する。

関連論文リスト

• A perspective note on likelihood approximation and inference for complex simulation models using a chain of aggregated normalizing flows [0.0]
  シミュレーションに基づく推論の枠組みにおける確率近似問題に対する新しい視点を提案する。 我々は、確率近似スキームに対する$n$-aggregated normalization flowの連鎖を考える。
  論文  参考訳（メタデータ） (2026-10-05T21:05:41Z)
• EnTransformer: A Deep Generative Transformer for Multivariate Probabilistic Forecasting [0.3262230127283452]
  本研究では,EnTransformerを提案する。Engressionは条件分布をモデル化するための学習パラダイムであり,Transformerの表現型シーケンスモデリング機能を備えている。 提案したEnTransformerは、電気、交通、ソーラー、タクシー、KDD-cup、ウィキペディアのデータセットなど、多変量確率予測に広く利用されているベンチマークで評価する。 実験結果から,EnTransformerは高い校正確率予測を導出し,ベンチマークモデルより一貫して優れていた。
  論文  参考訳（メタデータ） (2026-03-12T13:25:21Z)
• Model-Informed Flows for Bayesian Inference [15.20207905147315]
  VIPとフルランクのガウス流は、翻訳項とモデル先行からの入力を付加した前方自己回帰流として正確に表現できることを示す。 モデルインフォームド・フローアーキテクチャを導入し、必要な翻訳機構、事前情報、階層的順序付けを追加する。
  論文  参考訳（メタデータ） (2025-05-30T06:08:00Z)
• Single Domain Generalization with Model-aware Parametric Batch-wise Mixup [22.709796153794507]
  単一ドメインの一般化は、マシンラーニングの分野において、依然として深刻な課題である。 本稿では,モデル認識型パラメトリックバッチ・ワイド・ミックスアップ(Parametric Batch-wise Mixup)と呼ばれる新しいデータ拡張手法を提案する。 機能間相関を利用することで、パラメータ化されたミックスアップジェネレータは、複数のインスタンスにまたがる機能の組み合わせにおいて、さらなる汎用性を導入する。
  論文  参考訳（メタデータ） (2025-02-22T03:45:18Z)
• A Theoretical Analysis of Self-Supervised Learning for Vision Transformers [66.08606211686339]
  マスク付きオートエンコーダ(MAE)とコントラスト学習(CL)は異なる種類の表現をキャプチャする。 我々は,MAEとCLの両目的に対して,一層ソフトマックス型視覚変換器(ViT)のトレーニングダイナミクスについて検討した。
  論文  参考訳（メタデータ） (2024-03-04T17:24:03Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Positive-definite parametrization of mixed quantum states with deep neural networks [0.0]
  本稿では,GHDOに自己回帰構造を埋め込んで,確率分布を直接サンプリングする方法を示す。 我々はこのアーキテクチャを、散逸的横フィールドイジングモデルの定常状態によってベンチマークする。
  論文  参考訳（メタデータ） (2022-06-27T17:51:38Z)
• A new perspective on probabilistic image modeling [92.89846887298852]
  本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。 DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。 本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
  論文  参考訳（メタデータ） (2022-03-21T14:53:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。