論文の概要: Over-parameterized regression methods and their application to semi-supervised learning
- arxiv url: http://arxiv.org/abs/2409.04001v1
- Date: Fri, 6 Sep 2024 03:05:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 16:58:39.051111
- Title: Over-parameterized regression methods and their application to semi-supervised learning
- Title(参考訳): 過パラメータ回帰法とその半教師あり学習への応用
- Authors: Katsuyuki Hagiwara,
- Abstract要約: SVD(singular value decomposition)成分のしきい値に基づくいくつかの手法を確立した。
我々は,特異値に基づくしきい値,クロスバリデーションによるハードスレッショルド,ユニバーサルしきい値,ブリッジしきい値のしきい値など,いくつかの手法を検討した。
そして、それらを半教師付き学習に適用し、ラベルなしの入力サンプルを回帰器のカーネル関数に組み込む。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The minimum norm least squares is an estimation strategy under an over-parameterized case and, in machine learning, is known as a helpful tool for understanding a nature of deep learning. In this paper, to apply it in a context of non-parametric regression problems, we established several methods which are based on thresholding of SVD (singular value decomposition) components, wihch are referred to as SVD regression methods. We considered several methods that are singular value based thresholding, hard-thresholding with cross validation, universal thresholding and bridge thresholding. Information on output samples is not utilized in the first method while it is utilized in the other methods. We then applied them to semi-supervised learning, in which unlabeled input samples are incorporated into kernel functions in a regressor. The experimental results for real data showed that, depending on the datasets, the SVD regression methods is superior to a naive ridge regression method. Unfortunately, there were no clear advantage of the methods utilizing information on output samples. Furthermore, for depending on datasets, incorporation of unlabeled input samples into kernels is found to have certain advantages.
- Abstract(参考訳): 最小ノルム最小二乗は、過パラメータ化された場合における推定戦略であり、機械学習では、ディープラーニングの性質を理解するのに役立つツールとして知られている。
本稿では,非パラメトリック回帰問題の文脈で適用するために,SVD(singular value decomposition)成分のしきい値に基づくいくつかの手法を確立した。
我々は,特異値に基づくしきい値,クロスバリデーションによるハードスレッショルド,ユニバーサルしきい値,ブリッジしきい値のしきい値など,いくつかの手法を検討した。
出力サンプルに関する情報は第1の方法では利用されず、他の方法では利用されない。
そして、それらを半教師付き学習に適用し、ラベルなしの入力サンプルを回帰器のカーネル関数に組み込む。
実データに対する実験結果から, SVD回帰法は, データセットによっては, ナイーブリッジ回帰法よりも優れていることがわかった。
残念ながら、出力サンプルの情報を利用する方法には明確な利点はなかった。
さらに、データセットに依存するため、ラベルなしの入力サンプルをカーネルに組み込むことには、一定の利点がある。
関連論文リスト
- An Information Theoretic Metric for Evaluating Unlearning Models [20.143627174765985]
マシン・アンラーニング(MU)は、トレーニングされたモデルからデータのサンプルを忘れることによるプライバシー問題に対処する。
相互情報を用いた中間特徴量におけるデータサンプルを忘れる際の残余情報を定量化する指標を提案する。
論文 参考訳(メタデータ) (2024-05-28T06:57:01Z) - Constructing Variables Using Classifiers as an Aid to Regression: An
Empirical Assessment [0.0]
本稿では,初期入力ベクトルに含まれる情報を補完する変数の自動生成手法を提案する。
提案手法を5種類の回帰器を用いて検証し,33種類の回帰データセットで評価した。
論文 参考訳(メタデータ) (2024-03-11T15:44:40Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。
本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。
Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
論文 参考訳(メタデータ) (2023-03-21T09:07:15Z) - Semi-supervised Variational Autoencoder for Regression: Application on
Soft Sensors [0.0]
我々は,プロセス品質変数が他のプロセス変数と同じ頻度で収集されないという事実を考慮して,半教師付き学習の利用を動機付けている。
教師付き学習法に基づく品質変動予測のトレーニングには,これらの不正な記録は使用できない。
我々は、回帰のための教師付きVAE(SVAER)のこのアプローチを拡張して、回帰のための半教師付きVAE(SSVAER)につながる非ラベルデータから学習できるようにする。
論文 参考訳(メタデータ) (2022-11-11T02:54:59Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳(メタデータ) (2021-07-05T12:44:39Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。
本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。
ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
論文 参考訳(メタデータ) (2020-12-13T03:41:52Z) - Nonlinear Distribution Regression for Remote Sensing Applications [6.664736150040092]
多くのリモートセンシングアプリケーションでは、観察から関心のある変数やパラメータを推定したい。
ニューラルネットワーク、ランダムフォレスト、ガウス過程などの標準アルゴリズムは、これら2つに関連して容易に利用可能である。
本稿では, グループ化されたデータの統計を仮定することなく, 従来の問題を解く非線形(カーネルベース)な分散回帰法を提案する。
論文 参考訳(メタデータ) (2020-12-07T22:04:43Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳(メタデータ) (2020-11-30T21:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。