論文の概要: Random Matrix Analysis to Balance between Supervised and Unsupervised Learning under the Low Density Separation Assumption

• arxiv url: http://arxiv.org/abs/2310.13434v1
• Date: Fri, 20 Oct 2023 11:46:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 23:03:45.978837
• Title: Random Matrix Analysis to Balance between Supervised and Unsupervised Learning under the Low Density Separation Assumption
• Title（参考訳）: 低密度分離推定下における教師付き学習と教師なし学習のバランスのランダム行列解析
• Authors: Vasilii Feofanov, Malik Tiomoko, Aladin Virmaux
• Abstract要約: 線形分類モデルであるQLDSを導入し、低密度分離仮定を2次マージンで実装する。 提案アルゴリズムの特定のケースは、教師付きケースにおける最小二乗支援ベクトルマシン、完全に教師なしシステマにおけるスペクトルクラスタリング、および半教師付きグラフベースアプローチのクラスであることを示す。
• 参考スコア（独自算出の注目度）: 9.620832983703863
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a theoretical framework to analyze semi-supervised classification under the low density separation assumption in a high-dimensional regime. In particular, we introduce QLDS, a linear classification model, where the low density separation assumption is implemented via quadratic margin maximization. The algorithm has an explicit solution with rich theoretical properties, and we show that particular cases of our algorithm are the least-square support vector machine in the supervised case, the spectral clustering in the fully unsupervised regime, and a class of semi-supervised graph-based approaches. As such, QLDS establishes a smooth bridge between these supervised and unsupervised learning methods. Using recent advances in the random matrix theory, we formally derive a theoretical evaluation of the classification error in the asymptotic regime. As an application, we derive a hyperparameter selection policy that finds the best balance between the supervised and the unsupervised terms of our learning criterion. Finally, we provide extensive illustrations of our framework, as well as an experimental study on several benchmarks to demonstrate that QLDS, while being computationally more efficient, improves over cross-validation for hyperparameter selection, indicating a high promise of the usage of random matrix theory for semi-supervised model selection.
• Abstract（参考訳）: 高次元状態における低密度分離仮定の下で半教師付き分類を解析するための理論的枠組みを提案する。 特に、リニア分類モデルであるQLDSを導入し、低密度分離仮定を2次マージンの最大化により実装する。 このアルゴリズムは, 理論的性質の豊富な明示的な解を持ち, このアルゴリズムの特定のケースは, 教師なしの場合の最小二乗支援ベクトルマシン, 完全に教師なしの場合のスペクトルクラスタリング, 半教師付きグラフベースアプローチのクラスであることを示す。 このようにQLDSは、これら教師なしと教師なしの学習方法の間のスムーズなブリッジを確立する。 ランダム行列理論の最近の進歩を用いて,漸近的手法における分類誤差の理論的評価を形式的に導出する。 応用として、教師なしと教師なしの学習基準のバランスの最良のバランスを求めるハイパーパラメータ選択ポリシーを導出する。 最後に、我々のフレームワークの広範なイラストと、QLDSが計算効率が良いにもかかわらず、ハイパーパラメータ選択のクロスバリデーションよりも改善され、半教師付きモデル選択におけるランダム行列理論の使用が期待できることを示すために、いくつかのベンチマークに関する実験結果を提供する。

関連論文リスト

• Preference-Based Multi-Agent Reinforcement Learning: Data Coverage and Algorithmic Techniques [65.55451717632317]
  PbMARL(Preference-based Multi-Agent Reinforcement Learning)について検討する。 一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ平衡を同定する。 以上の結果から,PbMARLの多面的アプローチが示唆された。
  論文  参考訳（メタデータ） (2024-09-01T13:14:41Z)
• Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
  本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。 本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
  論文  参考訳（メタデータ） (2024-02-14T16:10:42Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• ClusterDDPM: An EM clustering framework with Denoising Diffusion Probabilistic Models [9.91610928326645]
  拡散確率モデル(DDPM)は、新しい、そして有望な生成モデルのクラスを表す。 本研究では,DDPMを用いたクラスタリングのための革新的予測最大化(EM)フレームワークを提案する。 Mステップでは、条件付きDDPMを用いてクラスタリングに親しみやすい潜在表現を学習し、潜在表現の分布をガウスの先行表現の混合と整合させることに重点を置いている。
  論文  参考訳（メタデータ） (2023-12-13T10:04:06Z)
• Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
  マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。 本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。 いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-14T18:18:02Z)
• Supervised Dictionary Learning with Auxiliary Covariates [0.0]
  Supervised Dictionary Learning (SDL) は、特徴抽出と分類タスクを同時に求める機械学習手法である。 結合因子空間における凸問題としてSDLを持ち上げる新しいフレームワークを提供する。 また, 胸部X線画像から得られた肺炎の指標として, 教師付きトピックモデリングによる文書分類の不均衡にSDLを適用した。
  論文  参考訳（メタデータ） (2022-06-14T12:10:03Z)
• Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
  教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。 重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。 教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
  論文  参考訳（メタデータ） (2020-12-14T10:36:06Z)
• Selective Classification via One-Sided Prediction [54.05407231648068]
  片側予測(OSP)に基づく緩和は、実際に関係する高目標精度体制において、ほぼ最適カバレッジが得られるSCスキームをもたらす。 理論的には,SCとOSPのバウンダリ一般化を導出し,その手法が小さな誤差レベルでのカバレッジにおいて,技術手法の状態を強く上回ることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:14:27Z)
• Sparse Methods for Automatic Relevance Determination [0.0]
  まず、自動妥当性決定(ARD)について検討し、スパースモデルを実現するために、追加の正規化やしきい値設定の必要性を解析的に実証する。 次に、正規化ベースとしきい値ベースという2つの手法のクラスについて論じる。
  論文  参考訳（メタデータ） (2020-05-18T14:08:49Z)
• Saliency-based Weighted Multi-label Linear Discriminant Analysis [101.12909759844946]
  複数ラベルの分類課題を解決するために,LDA(Linear Discriminant Analysis)の新たな変種を提案する。 提案手法は,個々の試料の重量を定義する確率モデルに基づく。 サリエンシに基づく重み付きマルチラベル LDA アプローチは,様々なマルチラベル分類問題の性能改善につながることが示されている。
  論文  参考訳（メタデータ） (2020-04-08T19:40:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。