論文の概要: Sparse Bayesian Learning with Diagonal Quasi-Newton Method For Large Scale Classification

• arxiv url: http://arxiv.org/abs/2107.08195v1
• Date: Sat, 17 Jul 2021 06:55:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-07-21 07:56:23.412944
• Title: Sparse Bayesian Learning with Diagonal Quasi-Newton Method For Large Scale Classification
• Title（参考訳）: 対角準ニュートン法による大規模分類のためのスパースベイズ学習
• Abstract要約: 複雑化とメモリ記憶をO(M)に還元するSBLの準ニュートン(DQN)法DQN-SBLを提案する。 実験により, DQN-SBLは, 非常にスパースなモデルで競合一般化を受け, 大規模問題によく対応できることが確認された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Sparse Bayesian Learning (SBL) constructs an extremely sparse probabilistic model with very competitive generalization. However, SBL needs to invert a big covariance matrix with complexity O(M^3 ) (M: feature size) for updating the regularization priors, making it difficult for practical use. There are three issues in SBL: 1) Inverting the covariance matrix may obtain singular solutions in some cases, which hinders SBL from convergence; 2) Poor scalability to problems with high dimensional feature space or large data size; 3) SBL easily suffers from memory overflow for large-scale data. This paper addresses these issues with a newly proposed diagonal Quasi-Newton (DQN) method for SBL called DQN-SBL where the inversion of big covariance matrix is ignored so that the complexity and memory storage are reduced to O(M). The DQN-SBL is thoroughly evaluated on non-linear classifiers and linear feature selection using various benchmark datasets of different sizes. Experimental results verify that DQN-SBL receives competitive generalization with a very sparse model and scales well to large-scale problems.
• Abstract（参考訳）: スパースベイズ学習(SBL)は極めてスパースな確率モデルを構築し、非常に競争的な一般化を行う。 しかし、sbl は正規化を事前に更新するために、複雑性 o(m^3 ) (m: 特徴サイズ) を持つ大きな共分散行列を反転させなければならないため、実用上は困難である。 SBLには3つの問題がある: 1) 共分散行列の反転は、SBLの収束を妨げるいくつかのケースにおいて特異解が得られる; 2) 高次元の特徴空間や大きなデータサイズの問題に対するスケーラビリティの低下; 3) SBLは大規模データに対するメモリオーバーフローに容易に悩まされる。 本稿では,大共分散行列の逆転を無視し,複雑性と記憶容量をO(M)に削減する,SBLの擬似ニュートン(DQN)法を新たに提案したDQN-SBLを用いて,この問題に対処する。 DQN-SBLは、異なるサイズのベンチマークデータセットを用いて、非線形分類器と線形特徴選択について徹底的に評価する。 実験により, DQN-SBLは, 非常にスパースなモデルで競合一般化を受け, 大規模問題によく対応できることが確認された。

関連論文リスト

• Random-Key Metaheuristic and Linearization for the Quadratic Multiple Constraints Variable-Sized Bin Packing Problem [0.0]
  本稿では,QMC-VSBPPの2次多重制約可変サイズバンドル問題に対処する。 この問題は、複数のキャパシティ次元、異種ビンタイプ、アイテム間の二次的相互作用コストを組み込むことで、古典的なビンパッキングを一般化する。 現状を推し進める2つの補完手法を提案する。
  論文  参考訳（メタデータ） (2025-11-15T22:05:53Z)
• Efficient Large Language Model Inference with Neural Block Linearization [51.619870789584525]
  本稿では,トランスフォーマーモデル推論を高速化する新しいフレームワークであるNeural Block Linearization (NBL)を紹介する。 NBLは、線形最小平均正方形誤差推定器から導かれる線形近似で自己アテンション層を置き換える。 実験では、NBLは競争精度を維持しながら、顕著な計算スピードアップを達成する。
  論文  参考訳（メタデータ） (2025-05-27T12:01:43Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Revisiting Instance-Optimal Cluster Recovery in the Labeled Stochastic Block Model [69.15976031704687]
  IAC (Instance-Adaptive Clustering, インスタンス適応クラスタリング) を提案する。 IACは$ MathcalO(n, textpolylog(n) $の計算複雑性を維持しており、大規模問題に対してスケーラブルで実用的なものである。
  論文  参考訳（メタデータ） (2023-06-18T08:46:06Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Recovering Unbalanced Communities in the Stochastic Block Model With Application to Clustering with a Faulty Oracle [9.578056676899203]
  オラクルブロックモデル(英: Oracle block model、SBM)は、ネットワークにおけるグラフクラスタリングやコミュニティ検出を研究するための基礎モデルである。 我々は,SBMのコミュニティを様々な大きさのコミュニティで復元する,シンプルなSVDベースのアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-02-17T08:51:19Z)
• Learning Sparse Fixed-Structure Gaussian Bayesian Networks [10.180716739570085]
  固定構造ガウスベイズネットワークを全変動距離で有界誤差まで学習する問題について検討する。 一般に使われているノード最小二乗回帰(LeastSquares)を分析し、ほぼ最適サンプルの複雑さがあることを証明した。 ポリツリーに特化したアルゴリズムであるCauchyEstTreeは、ほぼ最適サンプル複雑性を有することを示す。
  論文  参考訳（メタデータ） (2021-07-22T04:17:46Z)
• Hashing embeddings of optimal dimension, with applications to linear least squares [1.2891210250935143]
  スケッチの射影次元$m$で最適である$sgeq 1$のスケッチ行列に対して、サブスペース埋め込み特性を提示する。 これらの結果をLinear Least Squares (LLS) の特殊なケースに適用し,これらの問題に対する汎用ソフトウェアパッケージであるSki-LLSを開発する。
  論文  参考訳（メタデータ） (2021-05-25T10:35:13Z)
• Covariance-Free Sparse Bayesian Learning [62.24008859844098]
  共分散行列の明示的な反転を回避する新しいSBL推論アルゴリズムを導入する。 私たちの手法は、既存のベースラインよりも数千倍も高速です。 我々は,SBLが高次元信号回復問題に難なく対処できる新しいアルゴリズムについて紹介する。
  論文  参考訳（メタデータ） (2021-05-21T16:20:07Z)
• Bilinear Classes: A Structural Framework for Provable Generalization in RL [119.42509700822484]
  Bilinear Classesは強化学習の一般化を可能にする新しい構造フレームワークである。 このフレームワークは、サンプルの複雑さが達成可能な、ほとんどすべての既存のモデルを取り込んでいる。 我々の主な成果は、双線形クラスのためのサンプル複雑性を持つRLアルゴリズムである。
  論文  参考訳（メタデータ） (2021-03-19T16:34:20Z)
• Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal Sample Complexity [67.02490430380415]
  モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。 また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
  論文  参考訳（メタデータ） (2020-07-15T03:25:24Z)
• FANOK: Knockoffs in Linear Time [73.5154025911318]
  本稿では,ガウスモデル-Xノックオフを効率的に実装し,大規模特徴選択問題における誤発見率を制御するアルゴリズムについて述べる。 当社のメソッドは、最大50,000ドルという問題でテストしています。
  論文  参考訳（メタデータ） (2020-06-15T21:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。