論文の概要: Sharp-SSL: Selective high-dimensional axis-aligned random projections
for semi-supervised learning
- arxiv url: http://arxiv.org/abs/2304.09154v1
- Date: Tue, 18 Apr 2023 17:49:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-19 13:44:12.040437
- Title: Sharp-SSL: Selective high-dimensional axis-aligned random projections
for semi-supervised learning
- Title(参考訳): Sharp-SSL:半教師付き学習のための選択的高次元軸整列ランダムプロジェクション
- Authors: Tengyao Wang, Edgar Dobriban, Milana Gataric and Richard J. Samworth
- Abstract要約: 本稿では,高次元半教師付き学習問題に対する新しい手法を提案する。
これは、データの多くの軸方向のランダムな投影に適用される低次元プロシージャの結果の慎重な集約に基づいている。
- 参考スコア(独自算出の注目度): 16.673022545571566
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a new method for high-dimensional semi-supervised learning
problems based on the careful aggregation of the results of a low-dimensional
procedure applied to many axis-aligned random projections of the data. Our
primary goal is to identify important variables for distinguishing between the
classes; existing low-dimensional methods can then be applied for final class
assignment. Motivated by a generalized Rayleigh quotient, we score projections
according to the traces of the estimated whitened between-class covariance
matrices on the projected data. This enables us to assign an importance weight
to each variable for a given projection, and to select our signal variables by
aggregating these weights over high-scoring projections. Our theory shows that
the resulting Sharp-SSL algorithm is able to recover the signal coordinates
with high probability when we aggregate over sufficiently many random
projections and when the base procedure estimates the whitened between-class
covariance matrix sufficiently well. The Gaussian EM algorithm is a natural
choice as a base procedure, and we provide a new analysis of its performance in
semi-supervised settings that controls the parameter estimation error in terms
of the proportion of labeled data in the sample. Numerical results on both
simulated data and a real colon tumor dataset support the excellent empirical
performance of the method.
- Abstract(参考訳): 本研究では,データの多数の軸方向ランダム射影に適用する低次元手順の結果を注意深く集計し,高次元半教師付き学習問題に対する新しい手法を提案する。
私たちの第一の目的は、クラスを区別するための重要な変数を特定することです。
一般化されたレイリー商に動機づけられ、投影されたデータ上の推定されたクラス間共分散行列のトレースに従って射影をスコアする。
これにより、与えられた射影に対して各変数に重要重みを割り当て、高スケーリング射影上でこれらの重みを集約することで信号変数を選択できる。
提案理論では,spike-sslアルゴリズムは,十分多数のランダム射影を集約し,ベースプロシージャがホワイト付きクラス間共分散行列を十分に推定した場合に,高い確率で信号座標を回復できることを示す。
ガウスEMアルゴリズムは,基本手順として自然な選択であり,サンプル中のラベル付きデータの比率からパラメータ推定誤差を制御する半教師付き設定において,その性能を新たに解析する。
シミュレーションデータと実際の大腸腫瘍データセットの両方における数値計算の結果は, 優れた評価結果を得た。
関連論文リスト
- Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳(メタデータ) (2022-12-02T07:31:39Z) - GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP,
and Beyond [101.5329678997916]
対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。
本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。
低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
論文 参考訳(メタデータ) (2022-11-03T16:42:40Z) - Optimal Discriminant Analysis in High-Dimensional Latent Factor Models [1.4213973379473654]
高次元分類問題において、一般的に用いられるアプローチは、まず高次元の特徴を低次元空間に射影することである。
我々は、この2段階の手順を正当化するために、隠れた低次元構造を持つ潜在変数モデルを定式化する。
観測された特徴の特定の主成分(PC)を射影とする計算効率の良い分類器を提案する。
論文 参考訳(メタデータ) (2022-10-23T21:45:53Z) - Likelihood Adjusted Semidefinite Programs for Clustering Heterogeneous
Data [16.153709556346417]
クラスタリングは広くデプロイされた学習ツールである。
iLA-SDPはEMよりも感度が低く、高次元データでは安定である。
論文 参考訳(メタデータ) (2022-09-29T21:03:13Z) - Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic
Uncertainty [58.144520501201995]
ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。
注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。
また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
論文 参考訳(メタデータ) (2021-10-12T22:04:19Z) - Multilevel orthogonal Bochner function subspaces with applications to
robust machine learning [1.533771872970755]
このデータを、関連するボヒナー空間内のランダムフィールドのインスタンスとみなす。
私たちのキーとなる観察は、クラスが主に2つの異なる部分空間に存在することである。
論文 参考訳(メタデータ) (2021-10-04T22:01:01Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳(メタデータ) (2020-12-29T04:08:38Z) - Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。
本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。
ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
論文 参考訳(メタデータ) (2020-12-13T03:41:52Z) - Expectation propagation on the diluted Bayesian classifier [0.0]
本稿では,二項分類の文脈におけるスパース特徴選択の問題に対処する統計力学にインスパイアされた戦略を導入する。
予測伝搬(EP)として知られる計算スキームは、分類規則を学習する連続重みの知覚を訓練するために用いられる。
EPは、変数選択特性、推定精度、計算複雑性の点で頑健で競争力のあるアルゴリズムである。
論文 参考訳(メタデータ) (2020-09-20T23:59:44Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳(メタデータ) (2020-04-17T12:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。