論文の概要: Gradient Descent in RKHS with Importance Labeling
- arxiv url: http://arxiv.org/abs/2006.10925v2
- Date: Mon, 12 Apr 2021 06:54:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 03:38:48.920126
- Title: Gradient Descent in RKHS with Importance Labeling
- Title(参考訳): 貴重ラベリングによるRKHSのグラディエントDescent
- Authors: Tomoya Murata, Taiji Suzuki
- Abstract要約: 我々は重要ラベル付け問題について研究し、ラベルなしデータが多く与えられている。
ラベルなしデータの情報サブセットを効果的に選択できる新しい重要ラベル方式を提案する。
- 参考スコア(独自算出の注目度): 58.79085525115987
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Labeling cost is often expensive and is a fundamental limitation of
supervised learning. In this paper, we study importance labeling problem, in
which we are given many unlabeled data and select a limited number of data to
be labeled from the unlabeled data, and then a learning algorithm is executed
on the selected one. We propose a new importance labeling scheme that can
effectively select an informative subset of unlabeled data in least squares
regression in Reproducing Kernel Hilbert Spaces (RKHS). We analyze the
generalization error of gradient descent combined with our labeling scheme and
show that the proposed algorithm achieves the optimal rate of convergence in
much wider settings and especially gives much better generalization ability in
a small label noise setting than the usual uniform sampling scheme. Numerical
experiments verify our theoretical findings.
- Abstract(参考訳): ラベリングコストはしばしば高価であり、教師付き学習の基本的な制限である。
本稿では,ラベル付きデータを多数付与し,ラベル付きデータからラベル付けする限られた数のデータを選択し,選択したデータに対して学習アルゴリズムを実行する,重要ラベル付け問題について検討する。
本稿では,RKHS(Reproduction Kernel Hilbert Spaces)において,最小2乗回帰でラベル付きデータの情報サブセットを効果的に選択できる新しい重要ラベル方式を提案する。
本研究では, 勾配勾配の一般化誤差をラベル付け方式と組み合わせて解析し, 提案アルゴリズムがより広い範囲での収束率を最適に達成し, 一般の均一サンプリング方式よりも小さなラベル雑音設定においてより優れた一般化能力が得られることを示す。
数値実験は理論的な結果を検証する。
関連論文リスト
- Semi-Supervised Laplace Learning on Stiefel Manifolds [48.3427853588646]
グラフベースで教師付きサンプルを低ラベルレートで作成するためのフレームワークSequential Subspaceを開発した。
我々の手法は極めて低いレートで、高いラベルレートで達成できる。
論文 参考訳(メタデータ) (2023-07-31T20:19:36Z) - SLaM: Student-Label Mixing for Distillation with Unlabeled Examples [15.825078347452024]
学生ラベル混合(SLaM)と呼ばれる未ラベル例を用いた知識蒸留の原理的手法を提案する。
SLaMは、いくつかの標準ベンチマークで評価することで、従来のアプローチよりも一貫して改善されている。
ランダムな分類雑音下でハーフスペースを学習する際の最もよく知られたサンプル複雑性を改善するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-08T00:14:44Z) - Boosting Semi-Supervised Face Recognition with Noise Robustness [54.342992887966616]
本稿では,自動ラベルによるラベル雑音に対して頑健な半教師付き顔認識に対する効果的な解法を提案する。
そこで我々は,gnが強化するロバストな学習能力に基づく,ノイズロバスト学習ラベリング(nroll)という,半教師付き顔認識ソリューションを開発した。
論文 参考訳(メタデータ) (2021-05-10T14:43:11Z) - Relieving the Plateau: Active Semi-Supervised Learning for a Better
Landscape [2.3046646540823916]
semi-supervised learning (ssl) はラベル付きデータよりもアクセスしやすいラベルなしデータを活用する。
active learning (al)は、ラベルなしのインスタンスを選択して、ラベル付きデータの少ないパフォーマンスを期待する。
本稿では,ラベル付き集合を含む問題条件を改善するためにラベル付きデータを選択するALアルゴリズムである収束率制御(CRC)を提案する。
論文 参考訳(メタデータ) (2021-04-08T06:03:59Z) - In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label
Selection Framework for Semi-Supervised Learning [53.1047775185362]
Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。
PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。
そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
論文 参考訳(メタデータ) (2021-01-15T23:29:57Z) - Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
半教師付き学習における簡単なメタ学習アルゴリズムを提案する。
その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
論文 参考訳(メタデータ) (2020-07-08T08:48:56Z) - Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。
既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。
本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-19T08:35:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。