論文の概要: Weak to Strong Learning from Aggregate Labels

• arxiv url: http://arxiv.org/abs/2411.06200v1
• Date: Sat, 09 Nov 2024 14:56:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:11:10.567353
• Title: Weak to Strong Learning from Aggregate Labels
• Title（参考訳）: 集約ラベルから強力な学習への弱み
• Authors: Yukti Makhija, Rishi Saket,
• Abstract要約: 本研究では,そのような学習袋にアグリゲートラベルを付けた弱い学習者を用いて,強力な学習者を得るという課題について検討する。 弱い学習者はトレーニングバッグに一定精度1を有し、強い学習者の精度は任意に1に近づくことができる。 我々の研究は、LLPで同じことを達成するアルゴリズムを用いて、アグリゲーションラベルから弱いから強い学習を理論的に研究した最初のものである。
• 参考スコア（独自算出の注目度）: 9.804335415337071
• License:
• Abstract: In learning from aggregate labels, the training data consists of sets or "bags" of feature-vectors (instances) along with an aggregate label for each bag derived from the (usually {0,1}-valued) labels of its instances. In learning from label proportions (LLP), the aggregate label is the average of the bag's instance labels, whereas in multiple instance learning (MIL) it is the OR. The goal is to train an instance-level predictor, typically achieved by fitting a model on the training data, in particular one that maximizes the accuracy which is the fraction of satisfied bags i.e., those on which the predicted labels are consistent with the aggregate label. A weak learner has at a constant accuracy < 1 on the training bags, while a strong learner's accuracy can be arbitrarily close to 1. We study the problem of using a weak learner on such training bags with aggregate labels to obtain a strong learner, analogous to supervised learning for which boosting algorithms are known. Our first result shows the impossibility of boosting in LLP using weak classifiers of any accuracy < 1 by constructing a collection of bags for which such weak learners (for any weight assignment) exist, while not admitting any strong learner. A variant of this construction also rules out boosting in MIL for a non-trivial range of weak learner accuracy. In the LLP setting however, we show that a weak learner (with small accuracy) on large enough bags can in fact be used to obtain a strong learner for small bags, in polynomial time. We also provide more efficient, sampling based variant of our procedure with probabilistic guarantees which are empirically validated on three real and two synthetic datasets. Our work is the first to theoretically study weak to strong learning from aggregate labels, with an algorithm to achieve the same for LLP, while proving the impossibility of boosting for both LLP and MIL.
• Abstract（参考訳）: 集約ラベルから学習する際、トレーニングデータは特徴ベクトル(インスタンス)のセットまたは"バッグ"と、そのインスタンスの(通常 {0,1} の値の)ラベルから派生した各バッグの集約ラベルで構成される。 ラベル比(LLP)から学習する場合、アグリゲートラベルはバッグのインスタンスラベルの平均であり、MIL(Multiple Case Learning)ではORである。 目標は、通常、トレーニングデータにモデルを適用することで達成されるインスタンスレベルの予測器をトレーニングすることである。 弱い学習者はトレーニングバッグ上で一定の精度<1であり、強い学習者の精度は任意に1に近づくことができる。 本研究では,このような学習袋にアグリゲーションラベルを付けた弱い学習者を用いて,強化アルゴリズムが知られている教師あり学習と類似した強力な学習者を得るという課題について検討する。 最初の結果は、弱い学習者が(重み付けのために)存在するバッグのコレクションを構築しながら、強い学習者を認めないことにより、任意の精度 < 1 の弱い分類器を用いた LLP の強化が不可能であることを示す。 この構成の変種は、非自明な学習者の正確さのために、MILの強化も規定している。 しかし, LLP設定では, 十分に大きなバッグ上の弱い学習者(精度が低い)が, 多項式時間で, 小さなバッグに対して強力な学習者を得ることができることを示す。 また、3つの実データと2つの合成データセットに対して実験的に検証された確率的保証を備えた,より効率的でサンプリングに基づく提案手法の変種も提供する。 我々の研究は、LLPとMILの両方の強化の不可能性を証明しつつ、LPで同じことを達成するアルゴリズムを用いて、アグリゲーションラベルから弱いから強い学習を理論的に研究した最初のものである。

関連論文リスト

• Boosting Consistency in Dual Training for Long-Tailed Semi-Supervised Learning [49.07038093130949]
  Long-tailed semi-supervised learning (LTSSL)アルゴリズムは、ラベル付きデータとラベルなしデータのクラス分布がほぼ同一であると仮定する。 未知のクラス分布からラベル付けされていないデータを効果的に活用できる新しい簡易手法を提案する。 BOATは様々な標準LTSSLベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-06-19T03:35:26Z)
• PAC Learning Linear Thresholds from Label Proportions [13.58949814915442]
  ラベルパーセンテージ(LLP)からの学習は教師付き学習の一般化である。 ラベル比のランダムバッグへのアクセスを与えられた場合, LTF を用いて LTF を効率よく学習できることを示す。 学習アルゴリズムの実験的評価と,[Saket'21, Saket'22] とランダム LTF との比較を含む。
  論文  参考訳（メタデータ） (2023-10-16T05:59:34Z)
• Learning from Label Proportions: Bootstrapping Supervised Learners via Belief Propagation [18.57840057487926]
  LLP(Learning from Label Proportions)は、トレーニング中にバッグと呼ばれるインスタンスのグループに対して、アグリゲートレベルのラベルしか利用できない学習問題である。 この設定は、プライバシー上の配慮から、広告や医療などの領域で発生する。 本稿では,この問題に対して,反復的に2つの主要なステップを実行する新しいアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-12T06:09:26Z)
• MixBag: Bag-Level Data Augmentation for Learning from Label Proportions [4.588028371034407]
  ラベルパーセンテージ(LLP)からの学習は、有望な教師付き学習問題である。 そこで本研究では,MixBagと呼ばれるLPPのバッグレベルのデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2023-08-17T07:06:50Z)
• Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning [59.44422468242455]
  そこで我々はShrinkMatchと呼ばれる新しい手法を提案し、不確実なサンプルを学習する。 それぞれの不確実なサンプルに対して、元の Top-1 クラスを単に含むスランク類空間を適応的に求める。 次に、スランク空間における強と弱に強化された2つのサンプル間の整合正則化を課し、識別的表現を試みます。
  論文  参考訳（メタデータ） (2023-08-13T14:05:24Z)
• Multi-Instance Partial-Label Learning: Towards Exploiting Dual Inexact Supervision [53.530957567507365]
  実世界のタスクでは、各トレーニングサンプルは、1つの基底真実ラベルといくつかの偽陽性ラベルを含む候補ラベルセットに関連付けられている。 本稿では,Multi-instance partial-label learning (MIPL) などの問題を定式化する。 既存のマルチインスタンス学習アルゴリズムと部分ラベル学習アルゴリズムはMIPL問題の解法に最適である。
  論文  参考訳（メタデータ） (2022-12-18T03:28:51Z)
• Trustable Co-label Learning from Multiple Noisy Annotators [68.59187658490804]
  監督されたディープラーニングは、大量の注釈付き例に依存している。 典型的な方法は、複数のノイズアノテータから学習することである。 本稿では,emphTrustable Co-label Learning (TCL)と呼ばれるデータ効率のよい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T16:57:00Z)
• L2B: Learning to Bootstrap Robust Models for Combating Label Noise [52.02335367411447]
  本稿では,Learning to Bootstrap (L2B) という,シンプルで効果的な手法を提案する。 モデルは、誤った擬似ラベルの影響を受けずに、自身の予測を使ってブートストラップを行うことができる。 これは、実際の観測されたラベルと生成されたラベル間の重みを動的に調整し、メタラーニングを通じて異なるサンプル間の重みを動的に調整することで実現される。
  論文  参考訳（メタデータ） (2022-02-09T05:57:08Z)
• Fast learning from label proportions with small bags [0.0]
  ラベルパーセンテージ(LLP)から学ぶ場合、インスタンスはバッグにグループ化され、トレーニングバッグの相対クラスパーセンテージが与えられたインスタンス分類器を学習する。 本研究では,全ての一貫したラベルの組み合わせを明示的に考慮し,より効率的なアルゴリズムを設計できる小袋の事例に焦点を当てる。
  論文  参考訳（メタデータ） (2021-10-07T13:11:18Z)
• Training image classifiers using Semi-Weak Label Data [26.04162590798731]
  多重インスタンス学習(MIL)では、弱ラベルがバッグレベルで提供され、存在/存在情報のみが知られる。 本稿では,この問題を軽減するため,新たな半弱ラベル学習パラダイムを提案する。 半弱ラベルから学習する問題に対処する2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-19T03:06:07Z)
• Are Fewer Labels Possible for Few-shot Learning? [81.89996465197392]
  ごく限られたデータとラベルのため、わずかなショット学習は難しい。 近年のBiT (Big Transfer) 研究は、異なる領域における大規模ラベル付きデータセットの事前トレーニングによって、少数ショット学習が大きな恩恵を受けることを示した。 本稿では,ファインチューニングにおけるクラスタリングと固有サンプルの共進化を活かし,ショット学習の削減を図る。
  論文  参考訳（メタデータ） (2020-12-10T18:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。