論文の概要: Improved Marginal Unbiased Score Expansion (MUSE) via Implicit Differentiation

• arxiv url: http://arxiv.org/abs/2209.10512v1
• Date: Wed, 21 Sep 2022 17:20:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 15:15:16.265500
• Title: Improved Marginal Unbiased Score Expansion (MUSE) via Implicit Differentiation
• Title（参考訳）: 暗黙的分化による辺縁偏差スコア展開(muse)の改善
• Authors: Marius Millea
• Abstract要約: 階層型ベイズ推論のためのMarginal Unbiased Score Expansion (MUSE)アルゴリズムにおいて、暗黙の微分を適用し、性能を高め、数値誤差を減らし、必要なユーザチューニングを除去する。 3つの代表的な推論問題に対してこれらの改善を実証する。 MUSEは、ハミルトニアン・モンテカルロよりも、それぞれ155, 397, 5の因子、または65, 278, 1の因子により、暗黙の分化が速い。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We apply the technique of implicit differentiation to boost performance, reduce numerical error, and remove required user-tuning in the Marginal Unbiased Score Expansion (MUSE) algorithm for hierarchical Bayesian inference. We demonstrate these improvements on three representative inference problems: 1) an extended Neal's funnel 2) Bayesian neural networks, and 3) probabilistic principal component analysis. On our particular test cases, MUSE with implicit differentiation is faster than Hamiltonian Monte Carlo by factors of 155, 397, and 5, respectively, or factors of 65, 278, and 1 without implicit differentiation, and yields good approximate marginal posteriors. The Julia and Python MUSE packages have been updated to use implicit differentiation, and can solve problems defined by hand or with any of a number of popular probabilistic programming languages and automatic differentiation backends.
• Abstract（参考訳）: 階層ベイズ推定のために,暗黙的微分の手法を性能の向上,数値誤差の低減,限界不偏スコア展開(muse)アルゴリズムのユーザチューニングの不要化に応用した。 これらの改善を3つの代表的な推論問題で実証する。 1) Neal (複数形 Neals) 2)ベイズニューラルネットワーク,および 3)確率的主成分分析 特定のテストケースでは,MUSEはハミルトニアン・モンテカルロよりも,それぞれ155,397,5の因子,65,278,1の因子により,暗黙的分化が速く,良質な辺縁後縁部が得られる。 JuliaとPython MUSEパッケージは暗黙の差別化を使用するように更新され、手動または多くの人気のある確率的プログラミング言語と自動微分バックエンドのいずれかで定義される問題を解決することができる。

関連論文リスト

• Generalizing Stochastic Smoothing for Differentiation and Gradient Estimation [59.86921150579892]
  アルゴリズム,演算子,シミュレータ,その他の微分不可能関数の微分可能緩和に対する勾配推定の問題に対処する。 我々は、微分可能なソートとランキングのための分散化戦略、グラフ上の微分可能なショートパス、ポーズ推定のための微分可能なレンダリング、および微分可能なCryo-ETシミュレーションを開発する。
  論文  参考訳（メタデータ） (2024-10-10T17:10:00Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Provable benefits of score matching [30.317535687908755]
  スコアマッチング損失が計算効率良く最適化できるような分布の自然指数族の最初の例を示す。 確率損失を最適化するためのゼロ階または1階のオラクルの設計はNPハードであることを示す。 スコアマッチング損失の最小化は、計算的かつ統計的に効率的であり、周囲の次元は複雑である。
  論文  参考訳（メタデータ） (2023-06-03T03:42:30Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• On the Use of Minimum Penalties in Statistical Learning [2.1320960069210475]
  本稿では,多変量回帰モデルと結果変数の関係を同時に推定する枠組みを提案する。 現状技術手法を一般化する反復アルゴリズムを解法として提案する。 我々は、提案したMinPenフレームワークを他の指数関数的なファミリー損失関数に拡張し、複数の二項応答に特異的に焦点をあてる。
  論文  参考訳（メタデータ） (2021-06-09T16:15:46Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)
• Efficient and Modular Implicit Differentiation [68.74748174316989]
  最適化問題の暗黙的な微分のための統一的で効率的かつモジュール化されたアプローチを提案する。 一見単純な原理は、最近提案された多くの暗黙の微分法を復元し、新しいものを簡単に作成できることを示している。
  論文  参考訳（メタデータ） (2021-05-31T17:45:58Z)
• Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
  内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。 本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
  論文  参考訳（メタデータ） (2021-05-04T17:31:28Z)
• Isotonic regression with unknown permutations: Statistics, computation, and adaptation [13.96377843988598]
  我々は、推定のミニマックスリスク(実証的な$L$損失)と適応の基本的な限界(適応度指数で定式化)について検討する。 バニラ時間プロシージャで可能な最小適応率を達成しつつ、最小限の最適化が可能なミルスキー分割推定器を提供する。 相補的な方向において、既存の推定器の自然な修正は、デシデラタの最適統計性能、計算効率、高速適応の少なくとも1つを満たすことができないことを示す。
  論文  参考訳（メタデータ） (2020-09-05T22:17:51Z)
• Differentiable Greedy Submodular Maximization: Guarantees, Gradient Estimators, and Applications [15.191184049312467]
  我々は,単調部分関数のグリーディアルゴリズムを微分可能とする理論的に保証された多元性フレームワークを確立する。 乱数化によってグリーディアルゴリズムを滑らかにし、濃度や$kappa$-extensible(拡張可能なシステム制約)の場合に期待する元の近似保証をほぼ回復することを示した。
  論文  参考訳（メタデータ） (2020-05-06T03:33:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。