論文の概要: Supervised Multivariate Learning with Simultaneous Feature Auto-grouping
and Dimension Reduction
- arxiv url: http://arxiv.org/abs/2112.09746v1
- Date: Fri, 17 Dec 2021 20:11:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-23 07:14:22.995435
- Title: Supervised Multivariate Learning with Simultaneous Feature Auto-grouping
and Dimension Reduction
- Title(参考訳): 同時特徴自動グループ化と次元削減による多変量学習
- Authors: Yiyuan She, Jiahui Shen, Chao Zhang
- Abstract要約: 本稿では,クラスタ化低ランク学習フレームワークを提案する。
2つの合同行列正則化を課し、予測因子を構成する特徴を自動的にグループ化する。
低ランクなモデリングよりも解釈可能であり、変数選択における厳密な空間性仮定を緩和する。
- 参考スコア(独自算出の注目度): 7.093830786026851
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern high-dimensional methods often adopt the ``bet on sparsity''
principle, while in supervised multivariate learning statisticians may face
``dense'' problems with a large number of nonzero coefficients. This paper
proposes a novel clustered reduced-rank learning (CRL) framework that imposes
two joint matrix regularizations to automatically group the features in
constructing predictive factors. CRL is more interpretable than low-rank
modeling and relaxes the stringent sparsity assumption in variable selection.
In this paper, new information-theoretical limits are presented to reveal the
intrinsic cost of seeking for clusters, as well as the blessing from
dimensionality in multivariate learning. Moreover, an efficient optimization
algorithm is developed, which performs subspace learning and clustering with
guaranteed convergence. The obtained fixed-point estimators, though not
necessarily globally optimal, enjoy the desired statistical accuracy beyond the
standard likelihood setup under some regularity conditions. Moreover, a new
kind of information criterion, as well as its scale-free form, is proposed for
cluster and rank selection, and has a rigorous theoretical support without
assuming an infinite sample size. Extensive simulations and real-data
experiments demonstrate the statistical accuracy and interpretability of the
proposed method.
- Abstract(参考訳): 現代の高次元の手法は「sparsity」の原理を「bet on sparsity」と呼ぶことが多いが、教師付き多変量学習統計学では「dense」問題に多くの非ゼロ係数で直面することがある。
本稿では,2つの共同行列正則化を課し,予測因子を構成する特徴を自動的にグループ化する,新しいクラスタ化低ランク学習(CRL)フレームワークを提案する。
CRLは低ランクなモデリングよりも解釈可能であり、変数選択における厳密な空間性仮定を緩和する。
本稿では,クラスタ探索の本質的なコストと多変量学習における次元からの祝福を明らかにするために,新たな情報理論の限界を示す。
さらに,収束性を保証するサブスペース学習とクラスタリングを行う効率的な最適化アルゴリズムを開発した。
得られた不動点推定器は、必ずしもグローバルに最適とは限らず、一定の正規性条件下での標準確率設定を超えた所望の統計精度を享受する。
さらに、クラスタとランクの選択には、新しい種類の情報基準とスケールフリーの形式が提案され、無限のサンプルサイズを仮定することなく厳密な理論的支援がなされている。
大規模シミュレーションと実データ実験により,提案手法の統計的精度と解釈可能性を示す。
関連論文リスト
- Globally-Optimal Greedy Experiment Selection for Active Sequential
Estimation [1.1530723302736279]
逐次的に収集したデータの実験を適応的に選択するアクティブシーケンシャル推定の問題について検討する。
目標は、より正確なモデル推定のための実験選択ルールを設計することである。
そこで本稿では,グリーディ実験の選択手法のクラスを提案し,最大可能性の統計的解析を行う。
論文 参考訳(メタデータ) (2024-02-13T17:09:29Z) - Optimal Multi-Distribution Learning [94.73322179348332]
マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。
本稿では,$(d+k)/varepsilon2$の順に,サンプルの複雑さを伴って,$varepsilon$-optimal randomized hypothesisを生成するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-12-08T16:06:29Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳(メタデータ) (2023-07-08T15:41:48Z) - Self-Learning Symmetric Multi-view Probabilistic Clustering [50.32622999323709]
マルチビュークラスタリング(MVC)は、複数の視点から知識を学ぶための多くの取り組みによって、大きな進歩を遂げている。
既存のほとんどのメソッドは適用できないか、あるいは不完全なMVCに追加の手順を必要とする。
自己学習対称多視点確率クラスタリングという,不完全かつ完全なMVCのための新しい統合フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-12T08:27:03Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。
重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。
教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
論文 参考訳(メタデータ) (2020-12-14T10:36:06Z) - Real Elliptically Skewed Distributions and Their Application to Robust
Cluster Analysis [5.137336092866906]
本稿では,Really Skewed(RESK)分布と関連するクラスタリングアルゴリズムの新しいクラスを提案する。
非対称分散および重み付きデータクラスタは、様々な現実世界のアプリケーションで報告されている。
論文 参考訳(メタデータ) (2020-06-30T10:44:39Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳(メタデータ) (2020-05-22T22:30:52Z) - Statistically Guided Divide-and-Conquer for Sparse Factorization of
Large Matrix [2.345015036605934]
統計的問題をスパース係数回帰として定式化し、分割コンカレントアプローチでそれに取り組む。
第1段階分割では、タスクを1組の同時並列推定(CURE)問題に単純化するための2つの潜時並列アプローチについて検討する。
第2段階分割では、CUREの全解を効率的に追跡するために、一連の単純な増分経路からなる段階学習手法を革新する。
論文 参考訳(メタデータ) (2020-03-17T19:12:21Z) - Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。
既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。
本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-19T08:35:15Z) - Selective machine learning of doubly robust functionals [6.880360838661036]
半パラメトリックモデル上で定義された有限次元関数に関する推論を行うための選択的機械学習フレームワークを提案する。
疑似リスクの新たな定義に基づき、興味の機能を推定する際のバイアス低減を目的とした新しい選択基準を導入する。
論文 参考訳(メタデータ) (2019-11-05T19:00:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。