論文の概要: Hyperparameter Estimation for Sparse Bayesian Learning Models

• arxiv url: http://arxiv.org/abs/2401.02544v1
• Date: Thu, 4 Jan 2024 21:24:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-08 16:39:16.521944
• Title: Hyperparameter Estimation for Sparse Bayesian Learning Models
• Title（参考訳）: 疎ベイズ学習モデルのハイパーパラメータ推定
• Authors: Feng Yu and Lixin Shen and Guohui Song
• Abstract要約: Aparse Bayesian Learning (SBL) モデルは、信号処理や機械学習において、階層的な事前処理による疎結合を促進するために広く使われている。 本稿では,種々の目的関数に対するSBLモデルの改良のためのフレームワークを提案する。 信号雑音比において, 高い効率性を示す新しいアルゴリズムが導入された。
• 参考スコア（独自算出の注目度）: 1.0172874946490507
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Sparse Bayesian Learning (SBL) models are extensively used in signal processing and machine learning for promoting sparsity through hierarchical priors. The hyperparameters in SBL models are crucial for the model's performance, but they are often difficult to estimate due to the non-convexity and the high-dimensionality of the associated objective function. This paper presents a comprehensive framework for hyperparameter estimation in SBL models, encompassing well-known algorithms such as the expectation-maximization (EM), MacKay, and convex bounding (CB) algorithms. These algorithms are cohesively interpreted within an alternating minimization and linearization (AML) paradigm, distinguished by their unique linearized surrogate functions. Additionally, a novel algorithm within the AML framework is introduced, showing enhanced efficiency, especially under low signal noise ratios. This is further improved by a new alternating minimization and quadratic approximation (AMQ) paradigm, which includes a proximal regularization term. The paper substantiates these advancements with thorough convergence analysis and numerical experiments, demonstrating the algorithm's effectiveness in various noise conditions and signal-to-noise ratios.
• Abstract（参考訳）: スパースベイズ学習(SBL)モデルは信号処理や機械学習に広く使われ、階層的な事前処理によって空間性を促進する。 SBLモデルにおけるハイパーパラメータはモデルの性能に不可欠であるが、非凸性や関連する目的関数の高次元性のために推定することがしばしば困難である。 本稿では,予測最大化(EM),MacKay,凸バウンディング(CB)アルゴリズムなどのよく知られたアルゴリズムを含む,SBLモデルにおけるハイパーパラメータ推定のための包括的フレームワークを提案する。 これらのアルゴリズムは交互に最小化と線形化(aml)のパラダイムの中で結合的に解釈される。 さらに、AMLフレームワーク内の新しいアルゴリズムを導入し、特に低信号雑音比下での高効率性を示す。 これは、近位正規化項を含む新しい交互最小化と二次近似(AMQ)パラダイムによってさらに改善される。 本論文は, 様々な雑音条件と信号対雑音比におけるアルゴリズムの有効性を実証し, 完全収束解析と数値実験によりこれらの進歩を実証する。

関連論文リスト

• Enhancing Zeroth-order Fine-tuning for Language Models with Low-rank Structures [21.18741772731095]
  ゼロ階数(ZO)アルゴリズムは、関数値の有限差を用いて勾配を近似することで、有望な代替手段を提供する。 既存のZO法は、LLM微調整で一般的な低ランク勾配構造を捉えるのに苦労し、準最適性能をもたらす。 本稿では,LLMにおけるこの構造を効果的に捕捉する低ランクZOアルゴリズム(LOZO)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T08:10:53Z)
• Optimization of Iterative Blind Detection based on Expectation Maximization and Belief Propagation [29.114100423416204]
  ブロックフェーディング線形シンボルチャネルに対するブラインドシンボル検出法を提案する。 本研究では,研究予測アルゴリズムとユビキタスな信条伝搬アルゴリズムを組み合わせた共同チャネル推定・検出手法を設計する。 提案手法は,効率よく一般化したスケジュールを学習し,高信号対雑音シナリオにおけるコヒーレントBP検出よりも優れることを示す。
  論文  参考訳（メタデータ） (2024-08-05T08:45:50Z)
• Optimal thresholds and algorithms for a model of multi-modal learning in high dimensions [15.000720880773548]
  本論文は,このモデルに対する近似メッセージパッシング(AMP)アルゴリズムを導出し,その性能を高次元限界で特徴づける。 AMPの線形化は、広く使われている部分最小二乗法(PLS)および正準相関解析法(CCA)と数値的に比較される。
  論文  参考訳（メタデータ） (2024-07-03T21:48:23Z)
• Proximal Interacting Particle Langevin Algorithms [0.0]
  本稿では,潜時変動モデルにおける推論と学習のためのPIPLAアルゴリズムを提案する。 非微分不可能な統計モデルにおけるパラメータ推定の問題に合わせた、新しい近位IPLAファミリー内のいくつかの変種を提案する。 我々の理論と実験は、PIPLAファミリーが非微分可能モデルの潜在変数モデルにおけるパラメータ推定問題のデファクト選択であることを示している。
  論文  参考訳（メタデータ） (2024-06-20T13:16:41Z)
• Improving Sample Efficiency of Model-Free Algorithms for Zero-Sum Markov Games [66.2085181793014]
  モデルフリーのステージベースQ-ラーニングアルゴリズムはモデルベースアルゴリズムと同じ$H$依存の最適性を享受できることを示す。 本アルゴリズムは,楽観的値関数と悲観的値関数のペアとして参照値関数を更新するキーとなる新しい設計を特徴とする。
  論文  参考訳（メタデータ） (2023-08-17T08:34:58Z)
• Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
  低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。 既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。 提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
  論文  参考訳（メタデータ） (2023-07-08T15:41:48Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Optimizing Hyperparameters with Conformal Quantile Regression [7.316604052864345]
  本稿では,観測ノイズについて最小限の仮定を行う等化量子レグレッションを活用することを提案する。 これは経験的ベンチマークでのHPO収束を早くすることを意味する。
  論文  参考訳（メタデータ） (2023-05-05T15:33:39Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm [59.99439951055238]
  我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。 本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。 高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-23T01:34:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。