論文の概要: A semi-supervised learning using over-parameterized regression

• arxiv url: http://arxiv.org/abs/2409.04001v2
• Date: Tue, 19 Nov 2024 07:44:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:32:56.142302
• Title: A semi-supervised learning using over-parameterized regression
• Title（参考訳）: 過パラメータ回帰を用いた半教師付き学習
• Authors: Katsuyuki Hagiwara,
• Abstract要約: 半教師付き学習(SSL)は機械学習において重要なテーマである。 本稿では,未ラベルサンプルに関する情報をカーネル関数に組み込む手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Semi-supervised learning (SSL) is an important theme in machine learning, in which we have a few labeled samples and many unlabeled samples. In this paper, for SSL in a regression problem, we consider a method of incorporating information on unlabeled samples into kernel functions. As a typical implementation, we employ Gaussian kernels whose centers are labeled and unlabeled input samples. Since the number of coefficients is larger than the number of labeled samples in this setting, this is an over-parameterized regression roblem. A ridge regression is a typical estimation method under this setting. In this paper, alternatively, we consider to apply the minimum norm least squares (MNLS), which is known as a helpful tool for understanding deep learning behavior while it may not be application oriented. Then, in applying the MNLS for SSL, we established several methods based on feature extraction/dimension reduction in the SVD (singular value decomposition) representation of a Gram type matrix appeared in the over-parameterized regression problem. The methods are thresholding according to singular value magnitude with cross validation, hard-thresholding with cross validation, universal thresholding and bridge thresholding methods. The first one is equivalent to a method using a well-known low rank approximation of a Gram type matrix. We refer to these methods as SVD regression methods. In the experiments for real data, depending on datasets, clear superiority of the proposed SVD regression methods over ridge regression methods was observed. And, depending on datasets, incorporation of information on unlabeled input samples into kernels was found to be clearly effective.
• Abstract（参考訳）: 半教師付き学習(SSL)は機械学習において重要なテーマであり、ラベル付きサンプルとラベルなしサンプルがいくつかある。 本稿では、レグレッション問題におけるSSLについて、未ラベルのサンプルに関する情報をカーネル関数に組み込む方法を検討する。 典型的な実装として、中心がラベル付けされ、ラベル付けされていない入力サンプルを持つガウスカーネルを用いる。 この設定では、係数の数はラベル付きサンプルの数よりも大きいので、これは過パラメータ化された回帰ローレムである。 リッジ回帰は、この設定下での典型的な推定方法である。 本稿では,アプリケーション指向でない場合の深層学習行動を理解する上で有用なツールとして,最小ノルム最小二乗(MNLS)を適用することを検討する。 そして、SSLにMNLSを適用する際に、パラメータ化回帰問題に現れるグラム型行列のSVD(特異値分解)表現の特徴抽出/次元化に基づくいくつかの手法を確立した。 これらの手法は, クロスバリデーション, クロスバリデーション, ユニバーサルしきい値化, ブリッジしきい値化による閾値付けを行う。 1つ目は、グラム型行列のよく知られた低階近似を用いた方法と等価である。 これらの手法をSVD回帰法と呼ぶ。 実データに対する実験では、データセットによって、リッジ回帰法よりも提案したSVD回帰法の明確な優位性が観察された。 また,データセットによっては,未ラベル入力サンプルに関する情報をカーネルに組み込むことは,明らかに有効であることが判明した。

関連論文リスト

• Pseudo-Labeling for Kernel Ridge Regression under Covariate Shift [1.3597551064547502]
  対象分布に対する平均2乗誤差が小さい回帰関数を,ラベルなしデータと異なる特徴分布を持つラベル付きデータに基づいて学習する。 ラベル付きデータを2つのサブセットに分割し、カーネルリッジの回帰処理を行い、候補モデルの集合と計算モデルを得る。 モデル選択に擬似ラベルを用いることで性能を著しく損なうことはないことが判明した。
  論文  参考訳（メタデータ） (2023-02-20T18:46:12Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
  我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。 我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
  論文  参考訳（メタデータ） (2022-07-16T03:09:30Z)
• Deep Metric Learning-Based Semi-Supervised Regression With Alternate Learning [0.0]
  本稿では,パラメータ推定問題に対するDML-S2R法を提案する。 DML-S2R法は, 対象値の付加サンプルを収集することなく, ラベル付きサンプルが不足している問題を緩和することを目的としている。 実験の結果,DML-S2Rは最先端の半教師付き回帰法と比較された。
  論文  参考訳（メタデータ） (2022-02-23T10:04:15Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Nonlinear Distribution Regression for Remote Sensing Applications [6.664736150040092]
  多くのリモートセンシングアプリケーションでは、観察から関心のある変数やパラメータを推定したい。 ニューラルネットワーク、ランダムフォレスト、ガウス過程などの標準アルゴリズムは、これら2つに関連して容易に利用可能である。 本稿では, グループ化されたデータの統計を仮定することなく, 従来の問題を解く非線形(カーネルベース)な分散回帰法を提案する。
  論文  参考訳（メタデータ） (2020-12-07T22:04:43Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)
• Choosing the Sample with Lowest Loss makes SGD Robust [19.08973384659313]
  各ステップで単純な勾配降下法(SGD)を提案する。 しかし、バニラは最小の損失で非電流和を効果的に最小化する新しいアルゴリズムである。 ML問題に対するこの考え方の理論的分析は、小規模なニューラルネットワーク実験によって裏付けられている。
  論文  参考訳（メタデータ） (2020-01-10T05:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。