論文の概要: Easy Learning from Label Proportions

• arxiv url: http://arxiv.org/abs/2302.03115v1
• Date: Mon, 6 Feb 2023 20:41:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-08 18:12:05.718051
• Title: Easy Learning from Label Proportions
• Title（参考訳）: ラベル比率から簡単に学ぶ
• Authors: Robert Istvan Busa-Fekete, Heejin Choi, Travis Dick, Claudio Gentile, Andres Munoz medina
• Abstract要約: Easyllpは、アグリゲーションラベルに基づいた、柔軟で簡単に実装可能なデバイアス方式である。 我々の手法は、任意のモデルが個々のレベルで予想される損失を正確に見積もることができる。
• 参考スコア（独自算出の注目度）: 17.71834385754893
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the problem of Learning from Label Proportions (LLP), a weakly supervised classification setup where instances are grouped into "bags", and only the frequency of class labels at each bag is available. Albeit, the objective of the learner is to achieve low task loss at an individual instance level. Here we propose Easyllp: a flexible and simple-to-implement debiasing approach based on aggregate labels, which operates on arbitrary loss functions. Our technique allows us to accurately estimate the expected loss of an arbitrary model at an individual level. We showcase the flexibility of our approach by applying it to popular learning frameworks, like Empirical Risk Minimization (ERM) and Stochastic Gradient Descent (SGD) with provable guarantees on instance level performance. More concretely, we exhibit a variance reduction technique that makes the quality of LLP learning deteriorate only by a factor of k (k being bag size) in both ERM and SGD setups, as compared to full supervision. Finally, we validate our theoretical results on multiple datasets demonstrating our algorithm performs as well or better than previous LLP approaches in spite of its simplicity.
• Abstract（参考訳）: ラベル比率(llp)から学習する問題は,インスタンスを"バッグ"にグループ化し,各バッグのクラスラベルの頻度のみを利用可能とする,弱い教師付き分類設定である。 しかし、学習者の目標は、個々のインスタンスレベルで低いタスク損失を達成することである。 本稿では,任意の損失関数を演算するアグリゲーションラベルに基づく,フレキシブルで簡単なデバイアス処理手法であるEasyllpを提案する。 この手法により、任意のモデルの期待損失を個々のレベルで正確に推定することができる。 経験的リスク最小化(erm)や確率的勾配降下(sgd)といった一般的な学習フレームワークに適用することで、このアプローチの柔軟性を示し、インスタンスレベルのパフォーマンスを保証します。 より具体的には,ERMとSGDの両方のセットアップにおいて,LLP学習の質を,フルインスペクションと比較してk(kはバッグサイズ)の要素でのみ劣化させる分散低減技術を示す。 最後に,アルゴリズムの単純さにもかかわらず,従来のLPP手法と同等以上の性能を示す複数のデータセットに対する理論的結果を検証した。

関連論文リスト

• Forming Auxiliary High-confident Instance-level Loss to Promote Learning from Label Proportions [17.36538357653019]
  ラベルパーセンテージ(LLP)からの学習は、各インスタンスのアノテートラベルではなく、インスタンスのバッグとバッグ内のクラスの割合を使用して分類器をトレーニングすることを目的としている。 本稿では,L2P-AHILを用いたLLP手法を提案する。 我々は,L2P-AHILが既存のベースライン法を超越し,バッグサイズが大きくなるにつれて性能向上がさらに重要であることを示す。
  論文  参考訳（メタデータ） (2024-11-15T17:14:18Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Simple and Fast Group Robustness by Automatic Feature Reweighting [45.9024045614187]
  突発的特徴への依存を軽減するために,自動特徴強調(AFR)を提案する。 AFRは、標準ERMトレーニングベースモデルの最後の層を重み付き損失で再訓練する。 いくつかの視覚および自然言語分類ベンチマークにおいて、刺激的な属性を伴わずに訓練された競合手法の最良の報告結果を改善する。
  論文  参考訳（メタデータ） (2023-06-19T17:19:13Z)
• Active Learning in the Predict-then-Optimize Framework: A Margin-Based Approach [5.371816551086118]
  本研究では,ラベルのないデータストリームから特徴サンプルのラベルを要求するかどうかを逐次決定する学習手法を開発した。 我々の能動学習法は,予測パラメータによって引き起こされる決定誤差によって直接情報を得る最初の方法である。
  論文  参考訳（メタデータ） (2023-05-11T05:44:36Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Learning from Label Proportions by Learning with Label Noise [30.7933303912474]
  ラベル比例(LLP)からの学習は、データポイントをバッグに分類する弱い教師付き分類問題である。 ラベル雑音による学習の低減に基づくLLPに対する理論的基礎的なアプローチを提案する。 このアプローチは、複数のデータセットやアーキテクチャにわたるディープラーニングシナリオにおける経験的パフォーマンスの向上を実証する。
  論文  参考訳（メタデータ） (2022-03-04T18:52:21Z)
• Sum of Ranked Range Loss for Supervised Learning [47.0464265614452]
  本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。 ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。 サンプルレベルでのバイナリ/マルチクラス分類におけるAoRR集約損失と,ラベルレベルでのマルチラベル/マルチクラス分類におけるTKML個別損失という,SoRRフレームワークの最小化のための機械学習の2つの応用について検討する。
  論文  参考訳（メタデータ） (2021-06-07T02:11:27Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
  本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。 ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。 我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
  論文  参考訳（メタデータ） (2020-10-05T01:58:32Z)
• Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
  部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。 既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。 本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。