論文の概要: Gradient-based optimization for variational empirical Bayes multiple regression

• arxiv url: http://arxiv.org/abs/2411.14570v1
• Date: Thu, 21 Nov 2024 20:35:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 18:36:27.094409
• Title: Gradient-based optimization for variational empirical Bayes multiple regression
• Title（参考訳）: 変分経験ベイズ多重回帰に対する勾配に基づく最適化
• Authors: Saikat Banerjee, Peter Carbonetto, Matthew Stephens,
• Abstract要約: 勾配に基づく(準ニュートン)手法に基づく代替最適化手法を提案する。 我々はGradVIが同様の予測性能を示し、予測器が高い相関関係にある場合、より少ないイテレーションで収束することを示す。 提案手法は,オープンソースのPythonソフトウェアGradVIに実装されている。
• 参考スコア（独自算出の注目度）: 2.6763498831034043
• License:
• Abstract: Variational empirical Bayes (VEB) methods provide a practically attractive approach to fitting large, sparse, multiple regression models. These methods usually use coordinate ascent to optimize the variational objective function, an approach known as coordinate ascent variational inference (CAVI). Here we propose alternative optimization approaches based on gradient-based (quasi-Newton) methods, which we call gradient-based variational inference (GradVI). GradVI exploits a recent result from Kim et. al. [arXiv:2208.10910] which writes the VEB regression objective function as a penalized regression. Unfortunately the penalty function is not available in closed form, and we present and compare two approaches to dealing with this problem. In simple situations where CAVI performs well, we show that GradVI produces similar predictive performance, and GradVI converges in fewer iterations when the predictors are highly correlated. Furthermore, unlike CAVI, the key computations in GradVI are simple matrix-vector products, and so GradVI is much faster than CAVI in settings where the design matrix admits fast matrix-vector products (e.g., as we show here, trendfiltering applications) and lends itself to parallelized implementations in ways that CAVI does not. GradVI is also very flexible, and could exploit automatic differentiation to easily implement different prior families. Our methods are implemented in an open-source Python software, GradVI (available from https://github.com/stephenslab/gradvi ).
• Abstract（参考訳）: 変分経験ベイズ (VEB) 法は、大きくスパースで多重回帰モデルに適合する実用的なアプローチを提供する。 これらの手法は通常、座標アセントを用いて変動目的関数(CAVI)を最適化する。 本稿では、勾配に基づく変分推論(GradVI)と呼ばれる勾配に基づく(準ニュートン)手法に基づく代替最適化手法を提案する。 GradVIはKim et al [arXiv:2208.10910] の最近の結果を利用して、VEB回帰客観的関数をペナル化回帰として記述している。 残念なことに、ペナルティ関数は閉じた形で利用できないため、この問題に対処する2つのアプローチを提示し、比較する。 CAVIがよく機能する単純な状況では、GradVIは同様の予測性能を示し、GradVIは高い相関関係にある場合、より少ないイテレーションで収束する。 さらに、CAVIとは異なり、GradVIの主要な計算は単純な行列ベクトル製品であるため、設計行列が高速な行列ベクトル製品(例えば、ここで示すようにトレンドフィルタリングアプリケーション)を許容する設定では、GradVIはCAVIよりもはるかに高速であり、CAVIがそうでない方法で並列化実装に自力で依存する。 GradVIは非常にフレキシブルで、自動微分を利用して、異なる以前のファミリーを簡単に実装できる。 当社のメソッドは,オープンソースのPythonソフトウェアであるGradVI(https://github.com/stephenslab/gradvi から入手可能)で実装されています。

関連論文リスト

• Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity [50.25258834153574]
  我々は、(強に)凸 $(L0)$-smooth 関数のクラスに焦点を当て、いくつかの既存のメソッドに対する新しい収束保証を導出する。 特に,スムーズなグラディエント・クリッピングを有するグラディエント・ディフレッシュと,ポリアク・ステップサイズを有するグラディエント・ディフレッシュのコンバージェンス・レートの改善を導出した。
  論文  参考訳（メタデータ） (2024-09-23T13:11:37Z)
• AGD: an Auto-switchable Optimizer using Stepwise Gradient Difference for Preconditioning Matrix [8.975415409709575]
  本稿では,2段階の勾配差を対角線要素として利用して,プレコンディショニング行列の設計手法を提案する。 我々は、自然言語コンピュータビジョン(CV)とレコメンデーションシステム(RecSys)の一般化に関するAGDの評価を行った。
  論文  参考訳（メタデータ） (2023-12-04T06:20:14Z)
• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• Natural Gradient Hybrid Variational Inference with Application to Deep Mixed Models [0.0]
  深層混合モデルに対する高速かつ高精度な変分推定法(VI)を提案する。 これは、大域的パラメータと潜伏変数の結合後部を対象とする、明確に定義された勾配変動最適化を採用している。 提案手法は,2つの最先端自然度勾配法よりも高速かつ精度が高いことを示す。
  論文  参考訳（メタデータ） (2023-02-27T06:24:20Z)
• Optimization using Parallel Gradient Evaluations on Multiple Parameters [51.64614793990665]
  本稿では,複数のパラメータからの勾配を勾配降下の各ステップで利用することができる凸最適化の一階法を提案する。 本手法では,複数のパラメータからの勾配を用いて,これらのパラメータを最適方向に更新する。
  論文  参考訳（メタデータ） (2023-02-06T23:39:13Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• A Variant of Gradient Descent Algorithm Based on Gradient Averaging [0.0]
  レグレッションタスクでは、Grad-Avgの挙動がGradient Descent(SGD)とほぼ同一であることが観察された。 2つのベンチマークデータセットの分類タスクにおいて,Grad-Avgは他の最先端技術よりも高速に収束することを示す。
  論文  参考訳（メタデータ） (2020-12-04T03:43:12Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)
• On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
  我々は、勾配収束法を期待する適応勾配法を証明した。 解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
  論文  参考訳（メタデータ） (2018-08-16T20:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。