論文の概要: Analysis of High-dimensional Gaussian Labeled-unlabeled Mixture Model via Message-passing Algorithm

• arxiv url: http://arxiv.org/abs/2411.19553v1
• Date: Fri, 29 Nov 2024 08:57:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:22:23.237854
• Title: Analysis of High-dimensional Gaussian Labeled-unlabeled Mixture Model via Message-passing Algorithm
• Title（参考訳）: メッセージパッシング法による高次元ガウスラベルラベル未ラベル混合モデルの解析
• Authors: Xiaosi Gu, Tomoyuki Obuchi,
• Abstract要約: 半教師付き学習(SSL)は、ラベル付きデータを限られた量のラベル付きデータとともに活用する機械学習手法である。 いくつかの既存の理論的研究は、いわゆるガウス混合モデル(GMM)を用いて分類問題をモデル化することでこの問題に対処しようとしている。 本稿では,SSL設定における二項分類のための高次元GMMの特性を詳細に解析する。
• 参考スコア（独自算出の注目度）: 3.192109204993465
• License:
• Abstract: Semi-supervised learning (SSL) is a machine learning methodology that leverages unlabeled data in conjunction with a limited amount of labeled data. Although SSL has been applied in various applications and its effectiveness has been empirically demonstrated, it is still not fully understood when and why SSL performs well. Some existing theoretical studies have attempted to address this issue by modeling classification problems using the so-called Gaussian Mixture Model (GMM). These studies provide notable and insightful interpretations. However, their analyses are focused on specific purposes, and a thorough investigation of the properties of GMM in the context of SSL has been lacking. In this paper, we conduct such a detailed analysis of the properties of the high-dimensional GMM for binary classification in the SSL setting. To this end, we employ the approximate message passing and state evolution methods, which are widely used in high-dimensional settings and originate from statistical mechanics. We deal with two estimation approaches: the Bayesian one and the l2-regularized maximum likelihood estimation (RMLE). We conduct a comprehensive comparison between these two approaches, examining aspects such as the global phase diagram, estimation error for the parameters, and prediction error for the labels. A specific comparison is made between the Bayes-optimal (BO) estimator and RMLE, as the BO setting provides optimal estimation performance and is ideal as a benchmark. Our analysis shows that with appropriate regularizations, RMLE can achieve near-optimal performance in terms of both the estimation error and prediction error, especially when there is a large amount of unlabeled data. These results demonstrate that the l2 regularization term plays an effective role in estimation and prediction in SSL approaches.
• Abstract（参考訳）: 半教師付き学習(SSL)は、ラベル付きデータを限られた量のラベル付きデータとともに活用する機械学習手法である。 SSLは様々なアプリケーションに適用され、その効果は実証的に実証されているが、SSLがいつ、なぜうまく機能するのかは、まだ完全には理解されていない。 既存の理論的研究は、いわゆるガウス混合モデル(GMM)を用いて分類問題をモデル化することでこの問題に対処しようとしている。 これらの研究は、顕著で洞察に富んだ解釈を提供する。 しかし、それらの分析は特定の目的に重点を置いており、SSLの文脈におけるGMMの特性の徹底的な調査は行われていない。 本稿では,SSL設定における二項分類のための高次元GMMの特性を詳細に解析する。 この目的のために、我々は、高次元設定で広く使われ、統計力学から派生した近似メッセージパッシングと状態進化法を用いる。 我々はベイズ推定法と l2-正規化最大推定法(RMLE)の2つの手法を扱う。 本稿では,グローバル位相図,パラメータの推定誤差,ラベルの予測誤差など,これら2つの手法の総合的な比較を行う。 BO設定が最適推定性能を提供し、ベンチマークとして理想的であるため、ベイズ最適(BO)推定器とRMLEの比比較が行われる。 解析の結果、RMLEは適切な正規化を行うことで、推定誤差と予測誤差の両方の観点から、特に大量のラベルなしデータが存在する場合、ほぼ最適性能が得られることがわかった。 これらの結果から,l2正規化項はSSLアプローチにおける推定と予測に有効であることが示された。

関連論文リスト

• OwMatch: Conditional Self-Labeling with Consistency for Open-World Semi-Supervised Learning [4.462726364160216]
  半教師付き学習(SSL)は、注釈のないデータの可能性を活用するための堅牢なフレームワークを提供する。 オープンワールドSSL(OwSSL)の出現は、ラベルのないデータが目に見えないクラスのサンプルを包含する、より実践的な課題をもたらす。 我々は,条件付き自己ラベルとオープンワールド階層しきい値を組み合わせたOwMatchという効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-04T06:07:43Z)
• Semi-Supervised Sparse Gaussian Classification: Provable Benefits of Unlabeled Data [6.812609988733991]
  高次元ガウス分類のためのSSLについて検討する。 正確な特徴選択のための情報理論の下限を解析する。 理論的解析を補完するシミュレーションを提案する。
  論文  参考訳（メタデータ） (2024-09-05T08:21:05Z)
• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Spectral Ranking Inferences based on General Multiway Comparisons [7.222667862159246]
  本研究では,2段階のスペクトル法により,最大近似エスタと同じバニラ効率が得られることを示す。 有効な2サンプルランク試験法が提案されたのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-08-05T16:31:32Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Building Robust Machine Learning Models for Small Chemical Science Data: The Case of Shear Viscosity [3.4761212729163313]
  我々はLennard-Jones (LJ)流体のせん断粘度を予測するために、いくつかの機械学習モデルを訓練する。 具体的には,モデル選択,性能評価,不確実性定量化に関する課題について検討した。
  論文  参考訳（メタデータ） (2022-08-23T07:33:14Z)
• Hierarchical Semi-Supervised Contrastive Learning for Contamination-Resistant Anomaly Detection [81.07346419422605]
  異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。 コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。 汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-24T18:49:26Z)
• Spatial machine-learning model diagnostics: a model-agnostic distance-based approach [91.62936410696409]
  本研究は,空間予測誤差プロファイル (SPEP) と空間変数重要度プロファイル (SVIP) を,新しいモデルに依存しない評価・解釈ツールとして提案する。 統計学的手法、線形モデル、ランダムフォレスト、ハイブリッドアルゴリズムのSPEPとSVIPは、顕著な差異と関連する類似性を示している。 この新しい診断ツールは空間データ科学のツールキットを充実させ、MLモデルの解釈、選択、設計を改善する可能性がある。
  論文  参考訳（メタデータ） (2021-11-13T01:50:36Z)
• Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions [79.35722941720734]
  多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。 実験的リスク最小化による高次元推定器の精度を実証する。 合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
  論文  参考訳（メタデータ） (2021-06-07T16:53:56Z)
• Efficient Estimation and Evaluation of Prediction Rules in Semi-Supervised Settings under Stratified Sampling [6.930951733450623]
  本稿では,2段階の半教師付き学習(SSL)手法を提案する。 ステップIでは、非ランダムサンプリングを考慮した非線形基底関数による重み付き回帰により、欠落ラベルをインプットする。 ステップIIでは、結果の予測器の整合性を確保するために、初期計算を増強する。
  論文  参考訳（メタデータ） (2020-10-19T12:54:45Z)
• Distribution Aligning Refinery of Pseudo-label for Imbalanced Semi-supervised Learning [126.31716228319902]
  Pseudo-label (DARP) アルゴリズムの分散アライメント・リファナリーを開発する。 DARPは最先端のSSLスキームと有効かつ効率的に互換性があることを示す。
  論文  参考訳（メタデータ） (2020-07-17T09:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。