論文の概要: A gradient-based variable selection for binary classification in reproducing kernel Hilbert space

• arxiv url: http://arxiv.org/abs/2109.14282v1
• Date: Wed, 29 Sep 2021 09:06:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-30 15:00:42.511215
• Title: A gradient-based variable selection for binary classification in reproducing kernel Hilbert space
• Title（参考訳）: 回帰核ヒルベルト空間における二元分類のための勾配に基づく変数選択
• Authors: Jongkyeong Kang and Seung Jun Shin
• Abstract要約: 本稿では、カーネルヒルベルト空間(RKHS)を再現することによって定義される大マルジン分類器の非パラメトリック変数選択法を提案する。 本稿では,大マルギン分類器の勾配に基づく表現を提案し,群-ラスソペナルティによる勾配関数の正規化を行い,自然に変数選択につながるスパース勾配を求める。 提案手法の有望な性能をシミュレーションと実データ図解を用いて実証する。
• 参考スコア（独自算出の注目度）: 0.9137554315375922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variable selection is essential in high-dimensional data analysis. Although various variable selection methods have been developed, most rely on the linear model assumption. This article proposes a nonparametric variable selection method for the large-margin classifier defined by reproducing the kernel Hilbert space (RKHS). we propose a gradient-based representation of the large-margin classifier and then regularize the gradient functions by the group-lasso penalty to obtain sparse gradients that naturally lead to the variable selection. The groupwise-majorization-decent algorithm (GMD, Yang and Zou, 2015) is proposed to efficiently solve the proposed problem with a large number of parameters. We employ the strong sequential rule (Tibshirani et al., 2012) to facilitate the tuning procedure. The selection consistency of the proposed method is established by obtaining the risk bound of the estimated classifier and its gradient. Finally, we demonstrate the promising performance of the proposed method through simulations and real data illustration.
• Abstract（参考訳）: 可変選択は高次元データ解析において必須である。 様々な変数選択法が開発されているが、ほとんどは線形モデルの仮定に依存している。 本稿では、カーネルヒルベルト空間 (rkhs) を再現して定義される大マージン分類器に対する非パラメトリック変数選択法を提案する。 本研究では,大マージン分類器の勾配に基づく表現を提案し,群ラッソペナルティによって勾配関数を正則化し,変数選択に自然に繋がるスパース勾配を求める。 グループワイド・マジョライズ・デセントアルゴリズム(GMD, Yang and Zou, 2015)は, 提案した問題を多数のパラメータで効率的に解くために提案されている。 我々は、チューニング手順を促進するために、強いシーケンシャルルール(Tibshirani et al., 2012)を採用する。 推定分類器のリスクバウンドとその勾配を得ることにより,提案手法の選択一貫性を確立する。 最後に,提案手法の有望な性能をシミュレーションと実データ図解を用いて実証する。

関連論文リスト

• Adaptive Step Sizes for Preconditioned Stochastic Gradient Descent [0.3831327965422187]
  本稿では,勾配降下(SGD)における適応ステップサイズに対する新しいアプローチを提案する。 我々は、勾配に対するリプシッツ定数と探索方向の局所的分散の概念という、数値的にトレース可能な量を用いる。
  論文  参考訳（メタデータ） (2023-11-28T17:03:56Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Scalable Gaussian-process regression and variable selection using Vecchia approximations [3.4163060063961255]
  ヴェッキアをベースとしたミニバッチサブサンプリングは、偏りのない勾配推定器を提供する。 偏りのない勾配推定器を提供するVecchiaベースのミニバッチサブサンプリングを提案する。
  論文  参考訳（メタデータ） (2022-02-25T21:22:38Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• SGB: Stochastic Gradient Bound Method for Optimizing Partition Functions [15.33098084159285]
  本稿では,学習環境における分割関数の最適化の問題に対処する。 本稿では,2次代理を持つ分割関数の上界に依存する有界偏化アルゴリズムの変種を提案する。
  論文  参考訳（メタデータ） (2020-11-03T04:42:51Z)
• Variable selection for Gaussian process regression through a sparse projection [0.802904964931021]
  本稿では,ガウス過程(GP)レグレッションと統合された新しい変数選択手法を提案する。 パラメータの調整と推定の精度を,選択したベンチマーク手法を用いて評価した。
  論文  参考訳（メタデータ） (2020-08-25T01:06:10Z)
• Generalized Gumbel-Softmax Gradient Estimator for Various Discrete Random Variables [16.643346012854156]
  ノードの勾配を評価することは、深層生成モデリングコミュニティにおいて重要な研究課題の1つである。 本稿では,連続緩和を伴うGumbel-Softmax推定器の一般バージョンを提案する。
  論文  参考訳（メタデータ） (2020-03-04T01:13:15Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)
• On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
  我々は、勾配収束法を期待する適応勾配法を証明した。 解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
  論文  参考訳（メタデータ） (2018-08-16T20:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。