論文の概要: Optimizing Variational Representations of Divergences and Accelerating
their Statistical Estimation
- arxiv url: http://arxiv.org/abs/2006.08781v3
- Date: Wed, 23 Mar 2022 18:32:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 04:00:08.822659
- Title: Optimizing Variational Representations of Divergences and Accelerating
their Statistical Estimation
- Title（参考訳）: 変分表現の最適化と統計的推定の高速化
- Authors: Jeremiah Birrell, Markos A. Katsoulakis, Yannis Pantazis
- Abstract要約: 高次元確率分布間の発散と距離の変動表現は、重要な理論的洞察を与える。
確率モデルをトレーニングするための、魅力的でスケーラブルなアプローチとして、機械学習で人気を博している。
発散のより厳密な変動表現を構築するための方法論を開発する。
- 参考スコア（独自算出の注目度）: 6.34892104858556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational representations of divergences and distances between
high-dimensional probability distributions offer significant theoretical
insights and practical advantages in numerous research areas. Recently, they
have gained popularity in machine learning as a tractable and scalable approach
for training probabilistic models and for statistically differentiating between
data distributions. Their advantages include: 1) They can be estimated from
data as statistical averages. 2) Such representations can leverage the ability
of neural networks to efficiently approximate optimal solutions in function
spaces. However, a systematic and practical approach to improving the tightness
of such variational formulas, and accordingly accelerate statistical learning
and estimation from data, is currently lacking. Here we develop such a
methodology for building new, tighter variational representations of
divergences. Our approach relies on improved objective functionals constructed
via an auxiliary optimization problem. Furthermore, the calculation of the
functional Hessian of objective functionals unveils the local curvature
differences around the common optimal variational solution; this quantifies and
orders the tightness gains between different variational representations.
Finally, numerical simulations utilizing neural network optimization
demonstrate that tighter representations can result in significantly faster
learning and more accurate estimation of divergences in both synthetic and real
datasets (of more than 1000 dimensions), often accelerated by nearly an order
of magnitude.
- Abstract（参考訳）: 高次元確率分布間の発散と距離の変分表現は、多くの研究分野において重要な理論的洞察と実用的利点をもたらす。
近年、確率モデルをトレーニングし、データ分布を統計的に区別するための扱いやすいスケーラブルなアプローチとして、機械学習で人気が高まっている。
彼らの利点は
1)データから統計的平均として推定できる。
2)そのような表現は,関数空間における最適解を効率的に近似するニューラルネットワークの能力を利用することができる。
しかし,このような変動公式の厳密性を向上し,統計的学習とデータからの推定を加速する体系的かつ実践的なアプローチは,現在不足している。
ここでは, ダイバーシティの新たな, より厳密な変分表現を構築するための手法を考案する。
提案手法は, 補助最適化問題による目的関数の改良に依存する。
さらに、目的関数の関数 Hessian の計算は、共通最適変分解の周りの局所曲率差を明らかにし、これは異なる変分表現の間の密度ゲインを定量化し、順序付ける。
最後に、ニューラルネットワーク最適化を用いた数値シミュレーションにより、より厳密な表現は、合成データセットと実際のデータセット(1000次元以上)の両方において、はるかに高速な学習とより正確な多様性の推定をもたらすことが示される。
関連論文リスト
- Nonparametric Automatic Differentiation Variational Inference with
Spline Approximation [7.5620760132717795]
複雑な構造を持つ分布に対するフレキシブルな後続近似を可能にする非パラメトリック近似法を開発した。
広く使われている非パラメトリック推論手法と比較して,提案手法は実装が容易であり,様々なデータ構造に適応する。
実験では, 複雑な後続分布の近似における提案手法の有効性を実証し, 不完全データを用いた生成モデルの性能向上を図った。
論文 参考訳（メタデータ） (2024-03-10T20:22:06Z) - Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。
複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。
提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
論文 参考訳（メタデータ） (2023-10-10T14:06:56Z) - Neural lasso: a unifying approach of lasso and neural networks [0.27624021966289597]
可変選択のための統計的手法は、ニューラルネットワークを介して表現される。
統計的アプローチとニューラルバージョンは同じ目的関数を持つが、最適化によって異なることが観察された。
重要な変数を識別する新しい最適化アルゴリズムが登場した。
論文 参考訳（メタデータ） (2023-09-07T15:17:10Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Learning Likelihood Ratios with Neural Network Classifiers [0.12277343096128711]
確率比の近似は、ニューラルネットワークベースの分類器の巧妙なパラメトリゼーションを用いて計算することができる。
本稿では、いくつかの共通損失関数の性能と分類器出力のパラメトリゼーションを詳述した一連の実証研究について述べる。
論文 参考訳（メタデータ） (2023-05-17T18:11:38Z) - A Free Lunch with Influence Functions? Improving Neural Network
Estimates with Concepts from Semiparametric Statistics [41.99023989695363]
ニューラルネットワークや機械学習アルゴリズムの改善に使用される半パラメトリック理論の可能性を探る。
本稿では,単一アーキテクチャを用いてアンサンブルの柔軟性と多様性を求めるニューラルネットワーク手法であるMultiNetを提案する。
論文 参考訳（メタデータ） (2022-02-18T09:35:51Z) - Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。
一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。
我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
論文 参考訳（メタデータ） (2022-02-08T16:09:12Z) - Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。
我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
論文 参考訳（メタデータ） (2021-06-03T00:02:05Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳（メタデータ） (2020-03-25T10:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。