論文の概要: Learning of Discrete Graphical Models with Neural Networks
- arxiv url: http://arxiv.org/abs/2006.11937v2
- Date: Wed, 23 Dec 2020 04:16:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 12:06:54.884146
- Title: Learning of Discrete Graphical Models with Neural Networks
- Title（参考訳）: ニューラルネットワークを用いた離散図形モデルの学習
- Authors: Abhijith J., Andrey Y. Lokhov, Sidhant Misra, and Marc Vuffray
- Abstract要約: グラフィカルモデル学習のためのニューラルネットベースのアルゴリズムNeurISEを紹介する。
NeurISEは、真のモデルのエネルギー関数が高次であるとき、GRISEのより良い代替品であると考えられている。
また、実モデルの全エネルギー関数に対するニューラルネット表現の学習に使用できるNeurISEの変種を示す。
- 参考スコア（独自算出の注目度）: 15.171938155576566
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graphical models are widely used in science to represent joint probability
distributions with an underlying conditional dependence structure. The inverse
problem of learning a discrete graphical model given i.i.d samples from its
joint distribution can be solved with near-optimal sample complexity using a
convex optimization method known as Generalized Regularized Interaction
Screening Estimator (GRISE). But the computational cost of GRISE becomes
prohibitive when the energy function of the true graphical model has
higher-order terms. We introduce NeurISE, a neural net based algorithm for
graphical model learning, to tackle this limitation of GRISE. We use neural
nets as function approximators in an Interaction Screening objective function.
The optimization of this objective then produces a neural-net representation
for the conditionals of the graphical model. NeurISE algorithm is seen to be a
better alternative to GRISE when the energy function of the true model has a
high order with a high degree of symmetry. In these cases NeurISE is able to
find the correct parsimonious representation for the conditionals without being
fed any prior information about the true model. NeurISE can also be used to
learn the underlying structure of the true model with some simple modifications
to its training procedure. In addition, we also show a variant of NeurISE that
can be used to learn a neural net representation for the full energy function
of the true model.
- Abstract（参考訳）: グラフィカルモデルは、基礎となる条件依存構造を持つ合同確率分布を表現するために科学において広く使われている。
GRISE(Generalized Regularized Interaction Screening Estimator)と呼ばれる凸最適化法を用いて,その共分散分布から得られる離散的グラフィカルモデルを学習する逆問題について,ほぼ最適なサンプル複雑性で解くことができる。
しかし、真のグラフィカルモデルのエネルギー関数が高次項を持つとき、GRISEの計算コストは禁じられる。
グラフモデル学習のためのニューラルネットベースのアルゴリズムNeurISEを導入し、GRISEのこの制限に対処する。
相互作用スクリーニング対象関数の関数近似器としてニューラルネットを用いる。
この目的の最適化は、グラフィカルモデルの条件に対するニューラルネット表現を生成する。
ニューレーズアルゴリズムは、真のモデルのエネルギー関数が高次で高次な対称性を持つ場合、グリースより優れた選択肢であると見なされる。
これらのケースでは、NeurISEは真のモデルに関する事前情報を得ることなく、条件の正しい同義表現を見つけることができる。
NeurISEは、トレーニング手順にいくつかの簡単な変更を加えることで、真のモデルの基盤構造を学ぶためにも使用できる。
さらに,本モデルの全エネルギー関数のニューラルネット表現を学習するために使用できるニューロピーズの変種も提示する。
関連論文リスト
- CGNSDE: Conditional Gaussian Neural Stochastic Differential Equation for Modeling Complex Systems and Data Assimilation [1.4322470793889193]
条件付きニューラル微分方程式(CGNSDE)と呼ばれる新しい知識ベースおよび機械学習ハイブリッドモデリング手法を開発した。
標準的なニューラルネットワーク予測モデルとは対照的に、CGNSDEは前方予測タスクと逆状態推定問題の両方に効果的に取り組むように設計されている。
論文 参考訳（メタデータ） (2024-04-10T05:32:03Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳（メタデータ） (2023-12-19T23:04:56Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳（メタデータ） (2021-06-24T01:40:17Z) - A Deep Latent Space Model for Graph Representation Learning [10.914558012458425]
本稿では,従来の潜時変動に基づく生成モデルをディープラーニングフレームワークに組み込むために,有向グラフのための深潜時空間モデル(DLSM)を提案する。
提案モデルは,階層的変動型オートエンコーダアーキテクチャによって階層的に接続されるグラフ畳み込みネットワーク(GCN)エンコーダとデコーダから構成される。
実世界のデータセットにおける実験により,提案モデルがリンク予測とコミュニティ検出の両タスクにおける最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2021-06-22T12:41:19Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - A Distributed Optimisation Framework Combining Natural Gradient with
Hessian-Free for Discriminative Sequence Training [16.83036203524611]
本稿では、ニューラルネットワークトレーニングのための自然勾配およびヘッセンフリー(NGHF)最適化フレームワークを提案する。
これは、自然勾配(ng)法とヘッセンフリー(hf)や他の二次法からの局所曲率情報を組み合わせた線形共役勾配(cg)アルゴリズムに依存している。
さまざまな音響モデルタイプのマルチジャンル放送データセットで実験が報告されています。
論文 参考訳（メタデータ） (2021-03-12T22:18:34Z) - E(n) Equivariant Graph Neural Networks [86.75170631724548]
本稿では,E(n)-Equivariant Graph Neural Networks (EGNNs) と呼ばれる回転,翻訳,反射,置換に等価なグラフニューラルネットワークを学習する新しいモデルを提案する。
既存の手法とは対照的に、私たちの仕事は計算的に高価な中間層における高階表現を必要としません。
論文 参考訳（メタデータ） (2021-02-19T10:25:33Z) - Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve
Optimism, Embrace Virtual Curvature [61.22680308681648]
決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。
非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-08T12:41:56Z) - Bayesian Neural Ordinary Differential Equations [0.9422623204346027]
Neural ODEs と Bayesian 推論フレームワークの統合が成功したことを実証します。
10,000枚の画像のテストアンサンブルで、後部のサンプル精度を98.5%達成します。
これにより、不確実性の確率的推定のための科学的機械学習ツールが提供される。
論文 参考訳（メタデータ） (2020-12-14T04:05:26Z) - Stochastic Graph Recurrent Neural Network [6.656993023468793]
本稿では,ノード属性とトポロジの進化を同時に捉えるために潜時変数を適用した新しいニューラルアーキテクチャであるSGRNNを提案する。
具体的には、決定論的状態は、相互干渉を抑制する反復過程において状態から分離される。
実世界のデータセットを用いた実験により,提案モデルの有効性が示された。
論文 参考訳（メタデータ） (2020-09-01T16:14:30Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳（メタデータ） (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。