論文の概要: Structured Optimal Variational Inference for Dynamic Latent Space Models
- arxiv url: http://arxiv.org/abs/2209.15117v1
- Date: Thu, 29 Sep 2022 22:10:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 16:35:48.283883
- Title: Structured Optimal Variational Inference for Dynamic Latent Space Models
- Title（参考訳）: 動的潜在空間モデルに対する構造的最適変分推論
- Authors: Peng Zhao, Anirban Bhattacharya, Debdeep Pati and Bani K. Mallick
- Abstract要約: 動的ネットワークの潜在空間モデルについて検討し、その目的は、潜在位置のペア内積を推定することである。
本稿では,動的ネットワークの時間依存特性を利用する構造的平均場変動推定フレームワークを提案する。
提案手法は,潜在ノードのスケールがノード的に学習される場合に容易に拡張できる。
- 参考スコア（独自算出の注目度）: 14.87073454889439
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We consider a latent space model for dynamic networks, where our objective is
to estimate the pairwise inner products of the latent positions. To balance
posterior inference and computational scalability, we present a structured
mean-field variational inference framework, where the time-dependent properties
of the dynamic networks are exploited to facilitate computation and inference.
Additionally, an easy-to-implement block coordinate ascent algorithm is
developed with message-passing type updates in each block, whereas the
complexity per iteration is linear with the number of nodes and time points. To
facilitate learning of the pairwise latent distances, we adopt a Gamma prior
for the transition variance different from the literature. To certify the
optimality, we demonstrate that the variational risk of the proposed
variational inference approach attains the minimax optimal rate under certain
conditions. En route, we derive the minimax lower bound, which might be of
independent interest. To best of our knowledge, this is the first such exercise
for dynamic latent space models. Simulations and real data analysis demonstrate
the efficacy of our methodology and the efficiency of our algorithm. Finally,
our proposed methodology can be readily extended to the case where the scales
of the latent nodes are learned in a nodewise manner.
- Abstract（参考訳）: 我々は動的ネットワークのための潜在空間モデルについて検討し、その目的は潜在位置のペアワイズ内積を推定することである。
後方推定と計算スケーラビリティのバランスをとるために,動的ネットワークの時間依存特性を利用して計算と推論を容易にする構造的平均場変分推論フレームワークを提案する。
さらに,各ブロックのメッセージパス型更新によって,実装が容易なブロック座標アルゴリズムが開発され,イテレーション毎の複雑性はノード数や時間点数と線形である。
両方向の潜伏距離の学習を容易にするため,文献とは異なる遷移変化に先立ってガンマを採用する。
最適性を検証するために,提案する変分推論手法の変分リスクが,ある条件下での最小最適速度に達することを実証する。
経路上では、ミニマックスの下限を導出するが、これは独立した関心を持つかもしれない。
我々の知る限りでは、これは動的潜在空間モデルのための最初の実験である。
シミュレーションと実データ解析は,提案手法の有効性とアルゴリズムの有効性を示す。
最後に,提案手法は,潜在ノードのスケールがノード的に学習される場合にも容易に拡張できる。
関連論文リスト
- A domain decomposition-based autoregressive deep learning model for unsteady and nonlinear partial differential equations [2.7755345520127936]
非定常・非線形偏微分方程式(PDE)を正確にモデル化するためのドメイン分割型ディープラーニング(DL)フレームワークCoMLSimを提案する。
このフレームワークは、(a)畳み込みニューラルネットワーク(CNN)ベースのオートエンコーダアーキテクチャと(b)完全に接続された層で構成される自己回帰モデルという、2つの重要なコンポーネントで構成されている。
論文 参考訳（メタデータ） (2024-08-26T17:50:47Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Data-driven rules for multidimensional reflection problems [1.0742675209112622]
反射型制御を伴う可逆拡散に対する多変量特異制御問題について検討する。
与えられた拡散力学に対して、最適な領域が強い星型であると仮定し、ポリトープ近似に基づく勾配降下アルゴリズムを提案し、コスト最小化領域を数値的に決定する。
最後に,制御器に拡散力学が未知な場合のデータ駆動型解について検討する。
論文 参考訳（メタデータ） (2023-11-11T18:36:17Z) - Fast Shapley Value Estimation: A Unified Approach [71.92014859992263]
冗長な手法を排除し、単純で効率的なシェープリー推定器SimSHAPを提案する。
既存手法の解析において、推定器は特徴部分集合からランダムに要約された値の線形変換として統一可能であることを観察する。
実験により,SimSHAPの有効性が検証され,精度の高いShapley値の計算が大幅に高速化された。
論文 参考訳（メタデータ） (2023-11-02T06:09:24Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳（メタデータ） (2022-01-25T17:13:56Z) - SODEN: A Scalable Continuous-Time Survival Model through Ordinary
Differential Equation Networks [14.564168076456822]
本稿では、ニューラルネットワークとスケーラブルな最適化アルゴリズムを用いた生存分析のためのフレキシブルモデルを提案する。
提案手法の有効性を,既存の最先端ディープラーニングサバイバル分析モデルと比較した。
論文 参考訳（メタデータ） (2020-08-19T19:11:25Z) - Adaptive Discretization for Model-Based Reinforcement Learning [10.21634042036049]
本稿では,適応離散化手法を導入し,効率的なモデルに基づくエピソード強化学習アルゴリズムを設計する。
我々のアルゴリズムは、空間の適応的な離散化を維持するために拡張された楽観的なワンステップ値反復に基づいている。
論文 参考訳（メタデータ） (2020-07-01T19:36:46Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Consensus-Based Optimization on the Sphere: Convergence to Global
Minimizers and Machine Learning [7.998311072988401]
球面上の非函数の大域的最適化のための新しい倉本ビエク型モデルの実装について検討する。
本稿では,本論文で提案したアルゴリズムが寸法によく適合し,極めて多目的であることを示す数値実験を行った。
論文 参考訳（メタデータ） (2020-01-31T18:23:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。