論文の概要: A semi-supervised learning using over-parameterized regression

• arxiv url: http://arxiv.org/abs/2409.04001v2
• Date: Tue, 19 Nov 2024 07:44:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:32:56.142302
• Title: A semi-supervised learning using over-parameterized regression
• Title（参考訳）: 過パラメータ回帰を用いた半教師付き学習
• Authors: Katsuyuki Hagiwara,
• Abstract要約: 半教師付き学習(SSL)は機械学習において重要なテーマである。 本稿では,未ラベルサンプルに関する情報をカーネル関数に組み込む手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Semi-supervised learning (SSL) is an important theme in machine learning, in which we have a few labeled samples and many unlabeled samples. In this paper, for SSL in a regression problem, we consider a method of incorporating information on unlabeled samples into kernel functions. As a typical implementation, we employ Gaussian kernels whose centers are labeled and unlabeled input samples. Since the number of coefficients is larger than the number of labeled samples in this setting, this is an over-parameterized regression roblem. A ridge regression is a typical estimation method under this setting. In this paper, alternatively, we consider to apply the minimum norm least squares (MNLS), which is known as a helpful tool for understanding deep learning behavior while it may not be application oriented. Then, in applying the MNLS for SSL, we established several methods based on feature extraction/dimension reduction in the SVD (singular value decomposition) representation of a Gram type matrix appeared in the over-parameterized regression problem. The methods are thresholding according to singular value magnitude with cross validation, hard-thresholding with cross validation, universal thresholding and bridge thresholding methods. The first one is equivalent to a method using a well-known low rank approximation of a Gram type matrix. We refer to these methods as SVD regression methods. In the experiments for real data, depending on datasets, clear superiority of the proposed SVD regression methods over ridge regression methods was observed. And, depending on datasets, incorporation of information on unlabeled input samples into kernels was found to be clearly effective.
• Abstract（参考訳）: 半教師付き学習(SSL)は機械学習において重要なテーマであり、ラベル付きサンプルとラベルなしサンプルがいくつかある。 本稿では、レグレッション問題におけるSSLについて、未ラベルのサンプルに関する情報をカーネル関数に組み込む方法を検討する。 典型的な実装として、中心がラベル付けされ、ラベル付けされていない入力サンプルを持つガウスカーネルを用いる。 この設定では、係数の数はラベル付きサンプルの数よりも大きいので、これは過パラメータ化された回帰ローレムである。 リッジ回帰は、この設定下での典型的な推定方法である。 本稿では,アプリケーション指向でない場合の深層学習行動を理解する上で有用なツールとして,最小ノルム最小二乗(MNLS)を適用することを検討する。 そして、SSLにMNLSを適用する際に、パラメータ化回帰問題に現れるグラム型行列のSVD(特異値分解)表現の特徴抽出/次元化に基づくいくつかの手法を確立した。 これらの手法は, クロスバリデーション, クロスバリデーション, ユニバーサルしきい値化, ブリッジしきい値化による閾値付けを行う。 1つ目は、グラム型行列のよく知られた低階近似を用いた方法と等価である。 これらの手法をSVD回帰法と呼ぶ。 実データに対する実験では、データセットによって、リッジ回帰法よりも提案したSVD回帰法の明確な優位性が観察された。 また,データセットによっては,未ラベル入力サンプルに関する情報をカーネルに組み込むことは,明らかに有効であることが判明した。

関連論文リスト

• Constructing Variables Using Classifiers as an Aid to Regression: An Empirical Assessment [0.0]
  本稿では,初期入力ベクトルに含まれる情報を補完する変数の自動生成手法を提案する。 提案手法を5種類の回帰器を用いて検証し,33種類の回帰データセットで評価した。
  論文  参考訳（メタデータ） (2024-03-11T15:44:40Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
  オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。 本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。 Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-21T09:07:15Z)
• Semi-supervised Variational Autoencoder for Regression: Application on Soft Sensors [0.0]
  我々は,プロセス品質変数が他のプロセス変数と同じ頻度で収集されないという事実を考慮して,半教師付き学習の利用を動機付けている。 教師付き学習法に基づく品質変動予測のトレーニングには,これらの不正な記録は使用できない。 我々は、回帰のための教師付きVAE(SVAER)のこのアプローチを拡張して、回帰のための半教師付きVAE(SSVAER)につながる非ラベルデータから学習できるようにする。
  論文  参考訳（メタデータ） (2022-11-11T02:54:59Z)
• Construction de variables \`a l'aide de classifieurs comme aide \`a la r\'egression [0.03807314298073299]
  本稿では,初期入力ベクトルに含まれる情報を補完する変数の自動生成手法を提案する。 提案手法を5種類の回帰器を用いて検証し,33種類の回帰データセットで評価した。
  論文  参考訳（メタデータ） (2021-12-03T10:33:57Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Nonlinear Distribution Regression for Remote Sensing Applications [6.664736150040092]
  多くのリモートセンシングアプリケーションでは、観察から関心のある変数やパラメータを推定したい。 ニューラルネットワーク、ランダムフォレスト、ガウス過程などの標準アルゴリズムは、これら2つに関連して容易に利用可能である。 本稿では, グループ化されたデータの統計を仮定することなく, 従来の問題を解く非線形(カーネルベース)な分散回帰法を提案する。
  論文  参考訳（メタデータ） (2020-12-07T22:04:43Z)
• A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
  本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。 ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。 シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
  論文  参考訳（メタデータ） (2020-11-30T21:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。