論文の概要: Over-parameterized regression methods and their application to semi-supervised learning

• arxiv url: http://arxiv.org/abs/2409.04001v1
• Date: Fri, 6 Sep 2024 03:05:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-09 16:58:39.051111
• Title: Over-parameterized regression methods and their application to semi-supervised learning
• Title（参考訳）: 過パラメータ回帰法とその半教師あり学習への応用
• Authors: Katsuyuki Hagiwara,
• Abstract要約: SVD(singular value decomposition)成分のしきい値に基づくいくつかの手法を確立した。 我々は,特異値に基づくしきい値,クロスバリデーションによるハードスレッショルド,ユニバーサルしきい値,ブリッジしきい値のしきい値など,いくつかの手法を検討した。 そして、それらを半教師付き学習に適用し、ラベルなしの入力サンプルを回帰器のカーネル関数に組み込む。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The minimum norm least squares is an estimation strategy under an over-parameterized case and, in machine learning, is known as a helpful tool for understanding a nature of deep learning. In this paper, to apply it in a context of non-parametric regression problems, we established several methods which are based on thresholding of SVD (singular value decomposition) components, wihch are referred to as SVD regression methods. We considered several methods that are singular value based thresholding, hard-thresholding with cross validation, universal thresholding and bridge thresholding. Information on output samples is not utilized in the first method while it is utilized in the other methods. We then applied them to semi-supervised learning, in which unlabeled input samples are incorporated into kernel functions in a regressor. The experimental results for real data showed that, depending on the datasets, the SVD regression methods is superior to a naive ridge regression method. Unfortunately, there were no clear advantage of the methods utilizing information on output samples. Furthermore, for depending on datasets, incorporation of unlabeled input samples into kernels is found to have certain advantages.
• Abstract（参考訳）: 最小ノルム最小二乗は、過パラメータ化された場合における推定戦略であり、機械学習では、ディープラーニングの性質を理解するのに役立つツールとして知られている。 本稿では,非パラメトリック回帰問題の文脈で適用するために,SVD(singular value decomposition)成分のしきい値に基づくいくつかの手法を確立した。 我々は,特異値に基づくしきい値,クロスバリデーションによるハードスレッショルド,ユニバーサルしきい値,ブリッジしきい値のしきい値など,いくつかの手法を検討した。 出力サンプルに関する情報は第1の方法では利用されず、他の方法では利用されない。 そして、それらを半教師付き学習に適用し、ラベルなしの入力サンプルを回帰器のカーネル関数に組み込む。 実データに対する実験結果から, SVD回帰法は, データセットによっては, ナイーブリッジ回帰法よりも優れていることがわかった。 残念ながら、出力サンプルの情報を利用する方法には明確な利点はなかった。 さらに、データセットに依存するため、ラベルなしの入力サンプルをカーネルに組み込むことには、一定の利点がある。

関連論文リスト

• Pseudo-Labeling for Kernel Ridge Regression under Covariate Shift [1.3597551064547502]
  対象分布に対する平均2乗誤差が小さい回帰関数を,ラベルなしデータと異なる特徴分布を持つラベル付きデータに基づいて学習する。 ラベル付きデータを2つのサブセットに分割し、カーネルリッジの回帰処理を行い、候補モデルの集合と計算モデルを得る。 モデル選択に擬似ラベルを用いることで性能を著しく損なうことはないことが判明した。
  論文  参考訳（メタデータ） (2023-02-20T18:46:12Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
  我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。 我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
  論文  参考訳（メタデータ） (2022-07-16T03:09:30Z)
• Deep Metric Learning-Based Semi-Supervised Regression With Alternate Learning [0.0]
  本稿では,パラメータ推定問題に対するDML-S2R法を提案する。 DML-S2R法は, 対象値の付加サンプルを収集することなく, ラベル付きサンプルが不足している問題を緩和することを目的としている。 実験の結果,DML-S2Rは最先端の半教師付き回帰法と比較された。
  論文  参考訳（メタデータ） (2022-02-23T10:04:15Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Nonlinear Distribution Regression for Remote Sensing Applications [6.664736150040092]
  多くのリモートセンシングアプリケーションでは、観察から関心のある変数やパラメータを推定したい。 ニューラルネットワーク、ランダムフォレスト、ガウス過程などの標準アルゴリズムは、これら2つに関連して容易に利用可能である。 本稿では, グループ化されたデータの統計を仮定することなく, 従来の問題を解く非線形(カーネルベース)な分散回帰法を提案する。
  論文  参考訳（メタデータ） (2020-12-07T22:04:43Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)
• Choosing the Sample with Lowest Loss makes SGD Robust [19.08973384659313]
  各ステップで単純な勾配降下法(SGD)を提案する。 しかし、バニラは最小の損失で非電流和を効果的に最小化する新しいアルゴリズムである。 ML問題に対するこの考え方の理論的分析は、小規模なニューラルネットワーク実験によって裏付けられている。
  論文  参考訳（メタデータ） (2020-01-10T05:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。