論文の概要: Efficient first-order algorithms for large-scale, non-smooth maximum
entropy models with application to wildfire science
- arxiv url: http://arxiv.org/abs/2403.06816v1
- Date: Mon, 11 Mar 2024 15:33:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 18:37:47.434275
- Title: Efficient first-order algorithms for large-scale, non-smooth maximum
entropy models with application to wildfire science
- Title（参考訳）: 大規模非スムース最大エントロピーモデルの効率的一階アルゴリズムとワイルドファイア科学への応用
- Authors: Gabriel P. Langlois, Jatan Buch and J\'er\^ome Darbon
- Abstract要約: 大規模で非滑らかなMaxentモデルのトレーニングのための新しいアルゴリズムを提案する。
提案アルゴリズムはKullback-Leibler分散を利用して,大規模および非滑らかなMaxentモデルを効率的に学習する。
以上の結果から,我々のアルゴリズムは1桁の精度で芸術の状態を上回ります。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Maximum entropy (Maxent) models are a class of statistical models that use
the maximum entropy principle to estimate probability distributions from data.
Due to the size of modern data sets, Maxent models need efficient optimization
algorithms to scale well for big data applications. State-of-the-art algorithms
for Maxent models, however, were not originally designed to handle big data
sets; these algorithms either rely on technical devices that may yield
unreliable numerical results, scale poorly, or require smoothness assumptions
that many practical Maxent models lack. In this paper, we present novel
optimization algorithms that overcome the shortcomings of state-of-the-art
algorithms for training large-scale, non-smooth Maxent models. Our proposed
first-order algorithms leverage the Kullback-Leibler divergence to train
large-scale and non-smooth Maxent models efficiently. For Maxent models with
discrete probability distribution of $n$ elements built from samples, each
containing $m$ features, the stepsize parameters estimation and iterations in
our algorithms scale on the order of $O(mn)$ operations and can be trivially
parallelized. Moreover, the strong $\ell_{1}$ convexity of the
Kullback--Leibler divergence allows for larger stepsize parameters, thereby
speeding up the convergence rate of our algorithms. To illustrate the
efficiency of our novel algorithms, we consider the problem of estimating
probabilities of fire occurrences as a function of ecological features in the
Western US MTBS-Interagency wildfire data set. Our numerical results show that
our algorithms outperform the state of the arts by one order of magnitude and
yield results that agree with physical models of wildfire occurrence and
previous statistical analyses of wildfire drivers.
- Abstract（参考訳）: 最大エントロピーモデル(maximum entropy model)は、データから確率分布を推定するために最大エントロピー原理を用いる統計モデルである。
現代のデータセットのサイズのため、Maxentモデルは、ビッグデータアプリケーションにうまくスケールするために効率的な最適化アルゴリズムが必要である。
しかし、maxentモデルの最先端のアルゴリズムは、元々はビッグデータを扱うように設計されていなかった;これらのアルゴリズムは、信頼性の低い数値結果をもたらす技術機器に依存するか、スケールが悪く、または多くの実用的なmaxentモデルに欠けている滑らかさの仮定を必要とする。
本稿では,大規模非スムースマクセントモデルを学習するための最先端アルゴリズムの欠点を克服する新しい最適化アルゴリズムを提案する。
提案アルゴリズムはKullback-Leibler分散を利用して,大規模および非滑らかなMaxentモデルを効率的に学習する。
サンプルから構築された$n$要素の離散確率分布を持つMaxentモデルでは、それぞれ$m$特徴を含み、アルゴリズムのステップ化パラメータ推定と反復は$O(mn)$演算の順にスケールし、自明に並列化することができる。
さらに、Kulback-Leibler分散の強い$\ell_{1}$凸性により、より大きなステップ化パラメータが可能となり、アルゴリズムの収束速度が向上する。
新たなアルゴリズムの効率性を説明するため,西部アメリカのMTBS-Interagency山火事データセットの生態的特徴の関数として,火災発生確率を推定する問題を考察した。
その結果,我々のアルゴリズムは,ワイルドファイア発生の物理モデルや過去のワイルドファイアドライバの統計解析と一致する1桁のマグニチュードと降伏率で芸術の状態を上回っていることがわかった。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳（メタデータ） (2023-06-05T21:08:34Z) - Efficient and Accurate Learning of Mixtures of Plackett-Luce Models [5.216020588360421]
Plackett-Luce (PL) の混合モデルは理論的および実用的両方の研究領域である。
証明可能な精度で初期推定を行うアルゴリズムと、真のログ類似関数を効率的に最大化するEMアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-10T16:00:40Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-02-23T02:39:04Z) - Improving Computational Complexity in Statistical Models with
Second-Order Information [32.64382185990981]
パラメトリック統計モデルにおけるパラメータ推定のための正規化勾配降下法(NormGD)について検討する。
我々は、NormGDアルゴリズムが最終的な統計的半径に達するために最適な計算量$mathcalO(n)$を達成することを示した。
この計算複雑性は、固定ステップサイズ勾配勾配アルゴリズムよりも安価である。
論文 参考訳（メタデータ） (2022-02-09T01:32:50Z) - Slice Sampling for General Completely Random Measures [74.24975039689893]
本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。
提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
論文 参考訳（メタデータ） (2020-06-24T17:53:53Z) - Maximum Entropy Model Rollouts: Fast Model Based Policy Optimization
without Compounding Errors [10.906666680425754]
我々は、最大エントロピーモデルロールアウト(MEMR)と呼ばれるダイナスタイルモデルに基づく強化学習アルゴリズムを提案する。
複雑なエラーをなくすために、我々はモデルを使って単一ステップのロールアウトを生成する。
論文 参考訳（メタデータ） (2020-06-08T21:38:15Z) - Breaking the Sample Size Barrier in Model-Based Reinforcement Learning
with a Generative Model [50.38446482252857]
本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。
最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。
対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-05-26T17:53:18Z) - On a computationally-scalable sparse formulation of the multidimensional
and non-stationary maximum entropy principle [0.0]
我々は、MaxEnt-principleの非定常定式化を導出し、その解が正規化によるスパース制約最適化問題の数値最大化によって近似可能であることを示す。
主要な7つのベンチマーク時系列は、条件付きメモリレスMaxEntモデルによりよりよく記述されていることを示す。
この分析は、異なる市場における正および負の潜伏変化に対する統計的に重要な時間的関係のスパースネットワークを明らかにしている。
論文 参考訳（メタデータ） (2020-05-07T05:22:46Z) - Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。
アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。
ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
論文 参考訳（メタデータ） (2020-02-20T10:50:58Z) - Expected Information Maximization: Using the I-Projection for Mixture
Density Estimation [22.096148237257644]
高度にマルチモーダルなデータのモデリングは、機械学習において難しい問題である。
我々は,予測情報最大化(EIM)と呼ばれる新しいアルゴリズムを提案する。
我々のアルゴリズムは最近のGANアプローチよりもI射影の計算に効果的であることを示す。
論文 参考訳（メタデータ） (2020-01-23T17:24:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。