論文の概要: Active Labeling: Streaming Stochastic Gradients
- arxiv url: http://arxiv.org/abs/2205.13255v1
- Date: Thu, 26 May 2022 09:49:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-28 01:22:07.825025
- Title: Active Labeling: Streaming Stochastic Gradients
- Title(参考訳): Active Labeling: 確率勾配のストリーミング
- Authors: Vivien Cabannes, Francis Bach, Vianney Perchet, Alessandro Rudi
- Abstract要約: 部分的監督に基づくアクティブラーニングを一般化する「アクティブラベリング」問題を定式化する。
サンプル数に対する一般化誤差の比率を最小化するストリーミング技術を提案する。
- 参考スコア(独自算出の注目度): 91.76135191049232
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The workhorse of machine learning is stochastic gradient descent. To access
stochastic gradients, it is common to consider iteratively input/output pairs
of a training dataset. Interestingly, it appears that one does not need full
supervision to access stochastic gradients, which is the main motivation of
this paper. After formalizing the "active labeling" problem, which generalizes
active learning based on partial supervision, we provide a streaming technique
that provably minimizes the ratio of generalization error over number of
samples. We illustrate our technique in depth for robust regression.
- Abstract(参考訳): 機械学習のワークホースは確率勾配降下である。
確率勾配にアクセスするには、訓練データセットの反復的な入出力ペアを考えることが一般的である。
興味深いことに、この論文の主な動機は、確率勾配にアクセスするための完全な監督を必要としないようである。
部分的監督に基づくアクティブラーニングを一般化する「アクティブラベリング」問題を定式化した後、サンプル数に対する一般化誤差の割合を確実に最小化するストリーミング技術を提供する。
我々はロバスト回帰のためのテクニックを深く説明します。
関連論文リスト
- Stochastic Gradient Descent for Gaussian Processes Done Right [41.76406324030368]
正方形損失を用いたガウス過程の回帰を最適化する。
この問題に対する最も一般的なアプローチは、共役最適化のような正確な解法を適用することや、問題の低次バージョンに直接適用することである。
近年, 深層学習の推進により, 勾配降下が代替手段として勢いを増していることが明らかとなった。
論文 参考訳(メタデータ) (2023-10-31T16:15:13Z) - Semi-Supervised Laplacian Learning on Stiefel Manifolds [67.29074577550405]
我々は、ララシアグラフの非プラサート一般化の枠組みを改革する。
低ラベルレートでの教師付きサンプルの臨界中心性に対処する。
私たちのコードは提出のためにオンフットコノニマス化されています。
論文 参考訳(メタデータ) (2023-07-31T20:19:36Z) - Asymptotically efficient one-step stochastic gradient descent [62.997667081978825]
これはフィッシャースコアリングアルゴリズムの単一ステップで補正された対数型関数の勾配勾配に基づいている。
理論的およびシミュレーションにより、これは平均勾配あるいは適応勾配勾配の通常の勾配勾配の代替として興味深いものであることをi.d設定で示す。
論文 参考訳(メタデータ) (2023-06-09T13:43:07Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳(メタデータ) (2022-10-13T15:09:54Z) - From Weakly Supervised Learning to Active Learning [1.52292571922932]
この論文は、教師付き学習よりも汎用的なフレームワークを導き出せるか?
私たちは、ユニークなターゲットではなく、ターゲット候補のセットを与えるものとして、弱い監督をモデル化します。
我々は、ほとんどの観測値と一致する楽観的な'関数を求めるべきだと論じる。これにより、部分ラベルを曖昧にするための原則を導出できる。
論文 参考訳(メタデータ) (2022-09-23T14:55:43Z) - Model-Change Active Learning in Graph-Based Semi-Supervised Learning [7.208515071018781]
モデル変更」能動学習は、追加ラベルを導入して分類器に生じる結果の変化を定量化する
後方分布のラプラス近似を用いて, 取得関数を効率的に近似できる凸損失関数の族を考える。
論文 参考訳(メタデータ) (2021-10-14T21:47:10Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳(メタデータ) (2021-07-05T12:44:39Z) - Adapting Stepsizes by Momentumized Gradients Improves Optimization and
Generalization [89.66571637204012]
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
論文 参考訳(メタデータ) (2021-06-22T03:13:23Z) - Learning Quantized Neural Nets by Coarse Gradient Method for Non-linear
Classification [3.158346511479111]
特定の単調性を持つSTEのクラスを提案し、量子化されたアクティベーション関数を持つ2層ネットワークのトレーニングへの応用について検討する。
提案したSTEに対して,対応する粗度勾配法が大域最小値に収束することを示し,性能保証を確立する。
論文 参考訳(メタデータ) (2020-11-23T07:50:09Z) - Dynamical mean-field theory for stochastic gradient descent in Gaussian
mixture classification [25.898873960635534]
高次元景観を分類する単一層ニューラルネットワークにおける勾配降下(SGD)の閉学習ダイナミクスを解析する。
連続次元勾配流に拡張可能なプロトタイププロセスを定義する。
フルバッチ限界では、標準勾配流を回復する。
論文 参考訳(メタデータ) (2020-06-10T22:49:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。