Fugu-MT 論文翻訳(概要): Active Labeling: Streaming Stochastic Gradients

論文の概要: Active Labeling: Streaming Stochastic Gradients

arxiv url: http://arxiv.org/abs/2205.13255v1
Date: Thu, 26 May 2022 09:49:16 GMT
ステータス: 処理完了
システム内更新日: 2022-05-28 01:22:07.825025
Title: Active Labeling: Streaming Stochastic Gradients
Title（参考訳）: Active Labeling: 確率勾配のストリーミング
Authors: Vivien Cabannes, Francis Bach, Vianney Perchet, Alessandro Rudi
Abstract要約: 部分的監督に基づくアクティブラーニングを一般化する「アクティブラベリング」問題を定式化する。サンプル数に対する一般化誤差の比率を最小化するストリーミング技術を提案する。
参考スコア（独自算出の注目度）: 91.76135191049232
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The workhorse of machine learning is stochastic gradient descent. To access stochastic gradients, it is common to consider iteratively input/output pairs of a training dataset. Interestingly, it appears that one does not need full supervision to access stochastic gradients, which is the main motivation of this paper. After formalizing the "active labeling" problem, which generalizes active learning based on partial supervision, we provide a streaming technique that provably minimizes the ratio of generalization error over number of samples. We illustrate our technique in depth for robust regression.
Abstract（参考訳）: 機械学習のワークホースは確率勾配降下である。確率勾配にアクセスするには、訓練データセットの反復的な入出力ペアを考えることが一般的である。興味深いことに、この論文の主な動機は、確率勾配にアクセスするための完全な監督を必要としないようである。部分的監督に基づくアクティブラーニングを一般化する「アクティブラベリング」問題を定式化した後、サンプル数に対する一般化誤差の割合を確実に最小化するストリーミング技術を提供する。我々はロバスト回帰のためのテクニックを深く説明します。

関連論文リスト

Regression under demographic parity constraints via unlabeled post-processing [5.762345156477737]
本稿では,人口統計値に合致する予測を生成する汎用ポストプロセッシングアルゴリズムを提案する。我々は凸関数の勾配ノルムを正確に制御する必要がある。提案アルゴリズムは有限サンプル解析と後処理バウンダリによって裏付けられ, 実験結果から理論的知見が得られた。
論文参考訳（メタデータ） (2024-07-22T08:11:58Z)
Almost sure convergence rates of stochastic gradient methods under gradient domination [2.96614015844317]
大域的および局所的な勾配支配特性は、強い凸性のより現実的な置き換えであることが示されている。収束率 $f(X_n)-f*in obig(n-frac14beta-1+epsilonbig)$ は勾配降下の最終反復である。教師付き学習と強化学習の両方において,本研究結果をトレーニングタスクに適用する方法を示す。
論文参考訳（メタデータ） (2024-05-22T12:40:57Z)
One-step corrected projected stochastic gradient descent for statistical estimation [49.1574468325115]
これは、Fisherスコアリングアルゴリズムの1ステップで修正されたログ様関数の予測勾配勾配に基づいている。理論およびシミュレーションにより、平均勾配勾配や適応勾配勾配の通常の勾配勾配の代替として興味深いものであることを示す。
論文参考訳（メタデータ） (2023-06-09T13:43:07Z)
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文参考訳（メタデータ） (2022-10-13T15:09:54Z)
From Weakly Supervised Learning to Active Learning [1.52292571922932]
この論文は、教師付き学習よりも汎用的なフレームワークを導き出せるか? 私たちは、ユニークなターゲットではなく、ターゲット候補のセットを与えるものとして、弱い監督をモデル化します。我々は、ほとんどの観測値と一致する楽観的な'関数を求めるべきだと論じる。これにより、部分ラベルを曖昧にするための原則を導出できる。
論文参考訳（メタデータ） (2022-09-23T14:55:43Z)
Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文参考訳（メタデータ） (2021-07-05T12:44:39Z)
Adapting Stepsizes by Momentumized Gradients Improves Optimization and Generalization [89.66571637204012]
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
論文参考訳（メタデータ） (2021-06-22T03:13:23Z)
Learning Quantized Neural Nets by Coarse Gradient Method for Non-linear Classification [3.158346511479111]
特定の単調性を持つSTEのクラスを提案し、量子化されたアクティベーション関数を持つ2層ネットワークのトレーニングへの応用について検討する。提案したSTEに対して,対応する粗度勾配法が大域最小値に収束することを示し,性能保証を確立する。
論文参考訳（メタデータ） (2020-11-23T07:50:09Z)
Dynamical mean-field theory for stochastic gradient descent in Gaussian mixture classification [25.898873960635534]
高次元景観を分類する単一層ニューラルネットワークにおける勾配降下(SGD)の閉学習ダイナミクスを解析する。連続次元勾配流に拡張可能なプロトタイププロセスを定義する。フルバッチ限界では、標準勾配流を回復する。
論文参考訳（メタデータ） (2020-06-10T22:49:41Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。