Fugu-MT 論文翻訳(概要): Understanding the dynamics of message passing algorithms: a free probability heuristics

論文の概要: Understanding the dynamics of message passing algorithms: a free probability heuristics

arxiv url: http://arxiv.org/abs/2002.02533v1
Date: Mon, 3 Feb 2020 19:50:31 GMT
ステータス: 処理完了
システム内更新日: 2023-01-04 08:48:01.706757
Title: Understanding the dynamics of message passing algorithms: a free probability heuristics
Title（参考訳）: メッセージパッシングアルゴリズムのダイナミクスを理解する:自由確率ヒューリスティックス
Authors: Manfred Opper and Burak \c{C}akmak
Abstract要約: 本研究では,大規模系の極限における密結合行列を持つ確率モデルに対する推論アルゴリズムの挙動を解析する。玩具Isingモデルでは,有効記憶の消失特性やアルゴリズムの解析収束率などの過去の結果を復元することができる。
参考スコア（独自算出の注目度）: 2.8021833233819486
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We use freeness assumptions of random matrix theory to analyze the dynamical behavior of inference algorithms for probabilistic models with dense coupling matrices in the limit of large systems. For a toy Ising model, we are able to recover previous results such as the property of vanishing effective memories and the analytical convergence rate of the algorithm.
Abstract（参考訳）: 我々はランダム行列理論の自由性仮定を用いて、大系の極限に密結合行列を持つ確率的モデルに対する推論アルゴリズムの動的挙動を解析する。玩具イジングモデルでは,有効記憶の消失特性やアルゴリズムの解析収束率など,これまでの結果を復元することができる。

関連論文リスト

Probabilistic ODE Solutions in Millions of Dimensions [19.09929271850469]
本稿では,確率論的数値アルゴリズムを用いて高次元ODEを解くための数学的仮定と詳細な実装手法を説明する。これはそれまで、各解法における行列行列演算により不可能であった。数百万次元の微分方程式の確率論的数値シミュレーションを含む,様々な問題に対する結果の効率性を評価する。
論文参考訳（メタデータ） (2021-10-22T14:35:45Z)
Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文参考訳（メタデータ） (2021-06-09T08:05:36Z)
MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
論文参考訳（メタデータ） (2021-06-03T12:59:16Z)
Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。新規な構造化融合正規化に基づく一般グラフ推定器を提案する。提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
論文参考訳（メタデータ） (2021-03-05T04:42:32Z)
Statistical optimality and stability of tangent transform algorithms in logit models [6.9827388859232045]
我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
論文参考訳（メタデータ） (2020-10-25T05:15:13Z)
A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm [59.99439951055238]
我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
論文参考訳（メタデータ） (2020-06-23T01:34:18Z)
Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。分散による離散乗法雑音のパラメータによく現れることを示す。最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文参考訳（メタデータ） (2020-06-11T09:58:01Z)
A Dynamical Mean-Field Theory for Learning in Restricted Boltzmann Machines [2.8021833233819486]
ボルツマンマシンにおける磁化計算のためのメッセージパッシングアルゴリズムを定義する。安定性基準の下でのアルゴリズムのグローバル収束を証明し,数値シミュレーションとの良好な一致を示す収束率を計算する。
論文参考訳（メタデータ） (2020-05-04T15:19:31Z)
Optimization with Momentum: Dynamical, Control-Theoretic, and Symplectic Perspectives [97.16266088683061]
この論文は、運動量に基づく最適化アルゴリズムにおいてシンプレクティックな離散化スキームが重要であることを厳格に証明している。これは加速収束を示すアルゴリズムの特性を提供する。
論文参考訳（メタデータ） (2020-02-28T00:32:47Z)
Analysis of Bayesian Inference Algorithms by the Dynamical Functional Approach [2.8021833233819486]
学生自明なシナリオにおいて,大ガウス潜在変数モデルを用いて近似推論のアルゴリズムを解析する。完全データモデルマッチングの場合、レプリカ法から派生した静的順序パラメータの知識により、効率的なアルゴリズム更新が得られる。
論文参考訳（メタデータ） (2020-01-14T17:22:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。