論文の概要: Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels

• arxiv url: http://arxiv.org/abs/2007.02235v3
• Date: Fri, 21 Aug 2020 18:11:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 07:44:19.125913
• Title: Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels
• Title（参考訳）: 不偏性リスク推定器の誤認 : 補完ラベルを用いた学習を事例として
• Authors: Yu-Ting Chou, Gang Niu, Hsuan-Tien Lin, Masashi Sugiyama
• Abstract要約: 我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 92.98756432746482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In weakly supervised learning, unbiased risk estimator(URE) is a powerful tool for training classifiers when training and test data are drawn from different distributions. Nevertheless, UREs lead to overfitting in many problem settings when the models are complex like deep networks. In this paper, we investigate reasons for such overfitting by studying a weakly supervised problem called learning with complementary labels. We argue the quality of gradient estimation matters more in risk minimization. Theoretically, we show that a URE gives an unbiased gradient estimator(UGE). Practically, however, UGEs may suffer from huge variance, which causes empirical gradients to be usually far away from true gradients during minimization. To this end, we propose a novel surrogate complementary loss(SCL) framework that trades zero bias with reduced variance and makes empirical gradients more aligned with true gradients in the direction. Thanks to this characteristic, SCL successfully mitigates the overfitting issue and improves URE-based methods.
• Abstract（参考訳）: 弱教師付き学習では、アンバイアスドリスク推定器(URE)は、異なる分布からトレーニングデータとテストデータを引き出す際に、分類器を訓練するための強力なツールである。 それでも、モデルがディープネットワークのように複雑である場合、ureは多くの問題設定に過剰に適合する。 本稿では,相補ラベルを用いた学習と呼ばれる弱教師付き問題を研究することにより,過度に適合する理由について検討する。 勾配推定の質はリスク最小化においてより重要であると論じる。 理論的には、UREは非バイアス勾配推定器(UGE)を与える。 しかし、実際には、UGEは大きなばらつきに悩まされ、経験的勾配は通常最小化時に真の勾配から遠く離れる。 そこで本研究では,ゼロバイアスと分散の低減を両立させ,経験的勾配を方向の真の勾配に合致させる新しいサロゲート相補的損失(scl)フレームワークを提案する。 この特徴により、SCLはオーバーフィッティング問題を緩和し、UREベースの手法を改善した。

関連論文リスト

• Typicalness-Aware Learning for Failure Detection [26.23185979968123]
  ディープニューラルネットワーク(DNN)は、しばしば自信過剰な問題に悩まされる。 そこで本研究では,本問題に対処し,故障検出性能を向上させるために,S typicalness-Aware Learning (TAL) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-04T11:09:47Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Model-Aware Contrastive Learning: Towards Escaping the Dilemmas [11.27589489269041]
  コントラスト学習(CL)は、複数の領域にわたる重要なブレークスルーを継続的に達成する。 InfoNCEベースの手法は、テクスチュニフォーム・トレランス・ジレンマ(UTD)やテクスチュイディグレート・リダクション(UTD)など、いくつかのジレンマに悩まされている。 本稿では,インスタンス識別タスクの基本的な信頼性を反映したアライメントの程度に温度が適応するモデル認識コントラスト学習(MACL)戦略を提案する。
  論文  参考訳（メタデータ） (2022-07-16T08:21:55Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Gradient Imitation Reinforcement Learning for Low Resource Relation Extraction [52.63803634033647]
  低リソース関係抽出(LRE)は,人間のアノテーションが不足している場合に,ラベル付きコーパスから関係事実を抽出することを目的としている。 我々は、擬似ラベルデータにラベル付きデータへの勾配降下方向を模倣するように促すグラディエント・イミテーション強化学習法を開発した。 また,低リソース関係抽出における2つの主要なシナリオを扱うGradLREというフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T03:51:15Z)
• On the Minimal Error of Empirical Risk Minimization [90.09093901700754]
  回帰作業における経験的リスク最小化(ERM)手順の最小誤差について検討する。 私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。
  論文  参考訳（メタデータ） (2021-02-24T04:47:55Z)
• On the Origin of Implicit Regularization in Stochastic Gradient Descent [22.802683068658897]
  勾配降下(SGD)は全バッチ損失関数上の勾配流の経路に従う。 ランダムシャッフルを伴うSGDの場合、学習速度が小さく有限であれば、平均SGDは勾配流の経路に近づいたままである。 損失に暗黙の正則化器を明示的に含めれば、学習率が小さい場合にテスト精度が向上することを確認した。
  論文  参考訳（メタデータ） (2021-01-28T18:32:14Z)
• Learning with Gradient Descent and Weakly Convex Losses [14.145079120746614]
  本研究では,経験的リスクが弱い場合の勾配降下の学習性能について検討する。 2層ニューラルネットワークの場合、実験的なリスクは局所的な弱凸性の概念を満たすことができることを示す。
  論文  参考訳（メタデータ） (2021-01-13T09:58:06Z)
• On the Convergence of SGD with Biased Gradients [28.400751656818215]
  偏り勾配法 (SGD) の導出領域を解析し, 個々の更新を圧縮によって劣化させる。 偏差精度と収束率の影響の程度を定量化する。
  論文  参考訳（メタデータ） (2020-07-31T19:37:59Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。