論文の概要: Hyperparameter Estimation for Sparse Bayesian Learning Models
- arxiv url: http://arxiv.org/abs/2401.02544v1
- Date: Thu, 4 Jan 2024 21:24:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-08 16:39:16.521944
- Title: Hyperparameter Estimation for Sparse Bayesian Learning Models
- Title(参考訳): 疎ベイズ学習モデルのハイパーパラメータ推定
- Authors: Feng Yu and Lixin Shen and Guohui Song
- Abstract要約: Aparse Bayesian Learning (SBL) モデルは、信号処理や機械学習において、階層的な事前処理による疎結合を促進するために広く使われている。
本稿では,種々の目的関数に対するSBLモデルの改良のためのフレームワークを提案する。
信号雑音比において, 高い効率性を示す新しいアルゴリズムが導入された。
- 参考スコア(独自算出の注目度): 1.0172874946490507
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Sparse Bayesian Learning (SBL) models are extensively used in signal
processing and machine learning for promoting sparsity through hierarchical
priors. The hyperparameters in SBL models are crucial for the model's
performance, but they are often difficult to estimate due to the non-convexity
and the high-dimensionality of the associated objective function. This paper
presents a comprehensive framework for hyperparameter estimation in SBL models,
encompassing well-known algorithms such as the expectation-maximization (EM),
MacKay, and convex bounding (CB) algorithms. These algorithms are cohesively
interpreted within an alternating minimization and linearization (AML)
paradigm, distinguished by their unique linearized surrogate functions.
Additionally, a novel algorithm within the AML framework is introduced, showing
enhanced efficiency, especially under low signal noise ratios. This is further
improved by a new alternating minimization and quadratic approximation (AMQ)
paradigm, which includes a proximal regularization term. The paper
substantiates these advancements with thorough convergence analysis and
numerical experiments, demonstrating the algorithm's effectiveness in various
noise conditions and signal-to-noise ratios.
- Abstract(参考訳): スパースベイズ学習(SBL)モデルは信号処理や機械学習に広く使われ、階層的な事前処理によって空間性を促進する。
SBLモデルにおけるハイパーパラメータはモデルの性能に不可欠であるが、非凸性や関連する目的関数の高次元性のために推定することがしばしば困難である。
本稿では,予測最大化(EM),MacKay,凸バウンディング(CB)アルゴリズムなどのよく知られたアルゴリズムを含む,SBLモデルにおけるハイパーパラメータ推定のための包括的フレームワークを提案する。
これらのアルゴリズムは交互に最小化と線形化(aml)のパラダイムの中で結合的に解釈される。
さらに、AMLフレームワーク内の新しいアルゴリズムを導入し、特に低信号雑音比下での高効率性を示す。
これは、近位正規化項を含む新しい交互最小化と二次近似(AMQ)パラダイムによってさらに改善される。
本論文は, 様々な雑音条件と信号対雑音比におけるアルゴリズムの有効性を実証し, 完全収束解析と数値実験によりこれらの進歩を実証する。
関連論文リスト
- Model-Free Algorithm with Improved Sample Efficiency for Zero-Sum Markov
Games [71.0315408565146]
モデルフリーのステージベースQ-ラーニングアルゴリズムはモデルベースアルゴリズムと同じ$H$依存の最適性を享受できることを示す。
本アルゴリズムは,楽観的値関数と悲観的値関数のペアとして参照値関数を更新するキーとなる新しい設計を特徴とする。
論文 参考訳(メタデータ) (2023-08-17T08:34:58Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳(メタデータ) (2023-07-08T15:41:48Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳(メタデータ) (2023-06-10T08:25:16Z) - Optimizing Hyperparameters with Conformal Quantile Regression [7.316604052864345]
本稿では,観測ノイズについて最小限の仮定を行う等化量子レグレッションを活用することを提案する。
これは経験的ベンチマークでのHPO収束を早くすることを意味する。
論文 参考訳(メタデータ) (2023-05-05T15:33:39Z) - Joint Graph Learning and Model Fitting in Laplacian Regularized
Stratified Models [5.933030735757292]
ラプラシア正規化成層モデル(Laplacian regularized Stratified Model、LRSM)は、サブプロブレムの明示的または暗黙的なネットワーク構造を利用するモデルである。
本稿では,LRSMにおけるグラフ重みの重要性と感度を示し,その感度が任意に大きいことを示す。
本稿では,1つの最適化問題を解くことで,モデルパラメータを適合させながらグラフを共同学習する汎用的手法を提案する。
論文 参考訳(メタデータ) (2023-05-04T06:06:29Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳(メタデータ) (2022-09-27T07:58:25Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳(メタデータ) (2022-09-09T14:58:43Z) - A model aggregation approach for high-dimensional large-scale
optimization [2.1104930506758275]
本研究では,高次元大規模最適化問題を効率的に解くため,ベイズ最適化(MamBO)アルゴリズムにおけるモデル集約手法を提案する。
MamBOはサブサンプリングとサブスペース埋め込みを組み合わせることで、高次元と大規模問題に一括して対処する。
提案手法は,これらの低次元サロゲートモデルリスクを低減し,BOアルゴリズムのロバスト性を向上させる。
論文 参考訳(メタデータ) (2022-05-16T08:58:42Z) - Gaussian Process Models with Low-Rank Correlation Matrices for Both
Continuous and Categorical Inputs [0.0]
混合連続および分類ガウス過程モデルにおけるクロス相関行列の低ランク近似を用いた手法を提案する。
低ランク相関(LRC)は、近似の適切なランクを選択することで、問題のパラメータの数に柔軟に適応する能力を提供する。
論文 参考訳(メタデータ) (2020-10-06T09:38:35Z) - A Dynamical Systems Approach for Convergence of the Bayesian EM
Algorithm [59.99439951055238]
我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。
本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。
高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-23T01:34:18Z) - A Robust Matching Pursuit Algorithm Using Information Theoretic Learning [37.968665739578185]
情報理論学習(ITL)に基づく新しいOMPアルゴリズムの開発
シミュレーションおよび実世界の両方のデータに対する実験結果は、データ復元、画像再構成、分類において提案したOMPアルゴリズムの優位性を一貫して示している。
論文 参考訳(メタデータ) (2020-05-10T01:36:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。