論文の概要: Complexity-Optimized Sparse Bayesian Learning for Scalable Classification Tasks

• arxiv url: http://arxiv.org/abs/2107.08195v5
• Date: Mon, 11 Sep 2023 01:54:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 23:50:31.666465
• Title: Complexity-Optimized Sparse Bayesian Learning for Scalable Classification Tasks
• Title（参考訳）: スケーラブルな分類課題に対する複雑性最適化スパースベイズ学習
• Authors: Jiahua Luo, Chi-Man Wong and Chi-Man Vong
• Abstract要約: スパースベイズ学習(SBL)は極めてスパースな確率モデルを構築し、非常に競争的な一般化を行う。 本稿では,新たに提案されたSBLの準ニュートン法であるDQN-SBLを用いてこの問題に対処する。 実験により, DQN-SBLは, 非常にスパースなモデルで競合一般化を受け, 大規模問題によく対応できることが確認された。
• 参考スコア（独自算出の注目度）: 11.506282102037913
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Sparse Bayesian Learning (SBL) constructs an extremely sparse probabilistic model with very competitive generalization. However, SBL needs to invert a big covariance matrix with complexity $O(M^3)$ (M: feature size) for updating the regularization priors, making it difficult for problems with high dimensional feature space or large data size. As it may easily suffer from the memory overflow issue in such problems. This paper addresses this issue with a newly proposed diagonal Quasi-Newton (DQN) method for SBL called DQN-SBL where the inversion of big covariance matrix is ignored so that the complexity is reduced to $O(M)$. The DQN-SBL is thoroughly evaluated for non linear and linear classifications with various benchmarks of different sizes. Experimental results verify that DQN-SBL receives competitive generalization with a very sparse model and scales well to large-scale problems.
• Abstract（参考訳）: スパースベイズ学習(SBL)は極めてスパースな確率モデルを構築し、非常に競争的な一般化を行う。 しかし、SBLは、高次元の特徴空間や大きなデータサイズの問題に対処するため、正規化前の値を更新するために、複雑さ$O(M^3)$ (M: Feature size)で大きな共分散行列を逆転する必要がある。 このような問題ではメモリオーバーフローの問題に容易に悩まされる可能性がある。 本稿では,大共分散行列の逆転を無視し,複雑性を$O(M)$に抑えるため,新たに提案されたSBLの準ニュートン法であるDQN-SBLを用いてこの問題に対処する。 DQN-SBLは、異なる大きさの様々なベンチマークを持つ非線形および線形分類に対して、徹底的に評価される。 実験により, DQN-SBLは, 非常にスパースなモデルで競合一般化を受け, 大規模問題によく対応できることが確認された。

関連論文リスト

• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Recovering Unbalanced Communities in the Stochastic Block Model With Application to Clustering with a Faulty Oracle [9.578056676899203]
  オラクルブロックモデル(英: Oracle block model、SBM)は、ネットワークにおけるグラフクラスタリングやコミュニティ検出を研究するための基礎モデルである。 我々は,SBMのコミュニティを様々な大きさのコミュニティで復元する,シンプルなSVDベースのアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-02-17T08:51:19Z)
• Learning Sparse Fixed-Structure Gaussian Bayesian Networks [10.180716739570085]
  固定構造ガウスベイズネットワークを全変動距離で有界誤差まで学習する問題について検討する。 一般に使われているノード最小二乗回帰(LeastSquares)を分析し、ほぼ最適サンプルの複雑さがあることを証明した。 ポリツリーに特化したアルゴリズムであるCauchyEstTreeは、ほぼ最適サンプル複雑性を有することを示す。
  論文  参考訳（メタデータ） (2021-07-22T04:17:46Z)
• Hashing embeddings of optimal dimension, with applications to linear least squares [1.2891210250935143]
  スケッチの射影次元$m$で最適である$sgeq 1$のスケッチ行列に対して、サブスペース埋め込み特性を提示する。 これらの結果をLinear Least Squares (LLS) の特殊なケースに適用し,これらの問題に対する汎用ソフトウェアパッケージであるSki-LLSを開発する。
  論文  参考訳（メタデータ） (2021-05-25T10:35:13Z)
• Covariance-Free Sparse Bayesian Learning [62.24008859844098]
  共分散行列の明示的な反転を回避する新しいSBL推論アルゴリズムを導入する。 私たちの手法は、既存のベースラインよりも数千倍も高速です。 我々は,SBLが高次元信号回復問題に難なく対処できる新しいアルゴリズムについて紹介する。
  論文  参考訳（メタデータ） (2021-05-21T16:20:07Z)
• Bilinear Classes: A Structural Framework for Provable Generalization in RL [119.42509700822484]
  Bilinear Classesは強化学習の一般化を可能にする新しい構造フレームワークである。 このフレームワークは、サンプルの複雑さが達成可能な、ほとんどすべての既存のモデルを取り込んでいる。 我々の主な成果は、双線形クラスのためのサンプル複雑性を持つRLアルゴリズムである。
  論文  参考訳（メタデータ） (2021-03-19T16:34:20Z)
• Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal Sample Complexity [67.02490430380415]
  モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。 また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
  論文  参考訳（メタデータ） (2020-07-15T03:25:24Z)
• FANOK: Knockoffs in Linear Time [73.5154025911318]
  本稿では,ガウスモデル-Xノックオフを効率的に実装し,大規模特徴選択問題における誤発見率を制御するアルゴリズムについて述べる。 当社のメソッドは、最大50,000ドルという問題でテストしています。
  論文  参考訳（メタデータ） (2020-06-15T21:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。