論文の概要: Scalable Approximate Inference and Some Applications

• arxiv url: http://arxiv.org/abs/2003.03515v1
• Date: Sat, 7 Mar 2020 04:33:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 19:13:16.334838
• Title: Scalable Approximate Inference and Some Applications
• Title（参考訳）: スケーラブルな近似推論とその応用
• Authors: Jun Han
• Abstract要約: 本稿では,近似推論のための新しいフレームワークを提案する。 提案する4つのアルゴリズムは,Steinの手法の最近の計算進歩に動機付けられている。 シミュレーションおよび実データを用いた結果から,アルゴリズムの統計的効率と適用性を示す。
• 参考スコア（独自算出の注目度）: 2.6541211006790983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Approximate inference in probability models is a fundamental task in machine learning. Approximate inference provides powerful tools to Bayesian reasoning, decision making, and Bayesian deep learning. The main goal is to estimate the expectation of interested functions w.r.t. a target distribution. When it comes to high dimensional probability models and large datasets, efficient approximate inference becomes critically important. In this thesis, we propose a new framework for approximate inference, which combines the advantages of these three frameworks and overcomes their limitations. Our proposed four algorithms are motivated by the recent computational progress of Stein's method. Our proposed algorithms are applied to continuous and discrete distributions under the setting when the gradient information of the target distribution is available or unavailable. Theoretical analysis is provided to prove the convergence of our proposed algorithms. Our adaptive IS algorithm iteratively improves the importance proposal by functionally decreasing the KL divergence between the updated proposal and the target. When the gradient of the target is unavailable, our proposed sampling algorithm leverages the gradient of a surrogate model and corrects induced bias with importance weights, which significantly outperforms other gradient-free sampling algorithms. In addition, our theoretical results enable us to perform the goodness-of-fit test on discrete distributions. At the end of the thesis, we propose an importance-weighted method to efficiently aggregate local models in distributed learning with one-shot communication. Results on simulated and real datasets indicate the statistical efficiency and wide applicability of our algorithm.
• Abstract（参考訳）: 確率モデルの近似推論は機械学習の基本的なタスクである。 近似推論は、ベイズ推論、意思決定、ベイズ深層学習に強力なツールを提供する。 主な目的は、対象分布に関する関心関数の期待値を推定することである。 高次元確率モデルや大規模データセットの場合、効率的な近似推論が重要となる。 本稿では,これら3つのフレームワークの利点を結合し,その限界を克服した近似推論のための新しいフレームワークを提案する。 提案する4つのアルゴリズムは,最近のstein法計算の進歩に動機づけられている。 提案アルゴリズムは,目標分布の勾配情報が利用可能あるいは利用できない場合に設定した連続分布および離散分布に適用する。 提案アルゴリズムの収束性を証明するために理論的解析を行った。 我々の適応型isアルゴリズムは,更新提案と目標とのkl発散を機能的に減少させることにより,重要度提案を反復的に改善する。 対象の勾配が利用できない場合、提案アルゴリズムはサロゲートモデルの勾配を利用し、重み付けによる誘導バイアスを補正し、他の勾配のないサンプリングアルゴリズムよりも大幅に優れる。 さらに, 理論的結果から, 離散分布に対する適合性試験が可能である。 論文の最後に,分散学習における局所モデルを一発的コミュニケーションで効率的に集約する重要度重み付け手法を提案する。 シミュレーションおよび実データを用いた結果から,アルゴリズムの統計的効率と適用性を示す。

関連論文リスト

• Adaptive importance sampling for heavy-tailed distributions via $\alpha$-divergence minimization [2.879807093604632]
  提案手法は,学生の提案分布からターゲットを近似するAISアルゴリズムを提案する。 我々は、目標と提案の護衛モーメントを一致させて、位置とスケールパラメータを適応させる。 これらの更新は、ターゲットと提案の間の$alpha$-divergenceを最小化し、変動推論と接続する。
  論文  参考訳（メタデータ） (2023-10-25T14:07:08Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Distributionally Robust Machine Learning with Multi-source Data [6.383451076043423]
  対象分布のクラスに対する説明分散に関する逆報酬を最適化するために,群分布に頑健な予測モデルを導入する。 従来の経験的リスク最小化と比較して,提案した頑健な予測モデルでは,分布シフトを伴う対象集団の予測精度が向上する。 ランダムな森林とニューラルネットワークをベースラーニングアルゴリズムとして用いたシミュレーションおよび実データに対して,提案したグループ分散ロバストな手法の性能を示す。
  論文  参考訳（メタデータ） (2023-09-05T13:19:40Z)
• Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
  低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。 既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。 提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
  論文  参考訳（メタデータ） (2023-07-08T15:41:48Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
  モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。 理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
  論文  参考訳（メタデータ） (2021-08-27T19:03:32Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
  定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
  論文  参考訳（メタデータ） (2020-03-27T05:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。