論文の概要: Learning from Label Proportions: Bootstrapping Supervised Learners via
Belief Propagation
- arxiv url: http://arxiv.org/abs/2310.08056v3
- Date: Wed, 17 Jan 2024 12:41:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 20:24:56.243979
- Title: Learning from Label Proportions: Bootstrapping Supervised Learners via
Belief Propagation
- Title（参考訳）: ラベル比率から学ぶ: 信念伝達による教師付き学習者のブートストラップ
- Authors: Shreyas Havaldar, Navodita Sharma, Shubhi Sareen, Karthikeyan
Shanmugam, Aravindan Raghuveer
- Abstract要約: LLP(Learning from Label Proportions)は、トレーニング中にバッグと呼ばれるインスタンスのグループに対して、アグリゲートレベルのラベルしか利用できない学習問題である。
この設定は、プライバシー上の配慮から、広告や医療などの領域で発生する。
本稿では,この問題に対して,反復的に2つの主要なステップを実行する新しいアルゴリズムフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 19.931761890659413
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning from Label Proportions (LLP) is a learning problem where only
aggregate level labels are available for groups of instances, called bags,
during training, and the aim is to get the best performance at the
instance-level on the test data. This setting arises in domains like
advertising and medicine due to privacy considerations. We propose a novel
algorithmic framework for this problem that iteratively performs two main
steps. For the first step (Pseudo Labeling) in every iteration, we define a
Gibbs distribution over binary instance labels that incorporates a) covariate
information through the constraint that instances with similar covariates
should have similar labels and b) the bag level aggregated label. We then use
Belief Propagation (BP) to marginalize the Gibbs distribution to obtain pseudo
labels. In the second step (Embedding Refinement), we use the pseudo labels to
provide supervision for a learner that yields a better embedding. Further, we
iterate on the two steps again by using the second step's embeddings as new
covariates for the next iteration. In the final iteration, a classifier is
trained using the pseudo labels. Our algorithm displays strong gains against
several SOTA baselines (up to 15%) for the LLP Binary Classification problem on
various dataset types - tabular and Image. We achieve these improvements with
minimal computational overhead above standard supervised learning due to Belief
Propagation, for large bag sizes, even for a million samples.
- Abstract（参考訳）: Label Proportions(LLP)からの学習(Learning from Label Proportions)は、トレーニング中のバッグと呼ばれるインスタンスのグループに対して、アグリゲートレベルのラベルしか利用できない学習問題である。
この設定は、プライバシー上の考慮から広告や医療といった領域で発生する。
そこで本研究では,2つの主要なステップを反復的に実行する新しいアルゴリズムフレームワークを提案する。
イテレーション毎に最初のステップ(Pseudo Labeling)として、バイナリインスタンスラベルを組み込んだGibbsディストリビューションを定義します。
a) 類似の共変量を持つインスタンスが類似のラベルを持つべきという制約により、共変量情報
b)バッグレベル集約ラベル。
次に,Belief Propagation (BP) を用いてギブス分布を疎外し,擬似ラベルを得る。
第2のステップ(改良の埋め込み)では、擬似ラベルを使用して学習者の監督を行い、よりよい埋め込みを得る。
さらに、第2ステップの埋め込みを次のイテレーションの新しい共変数として使用して、2つのステップを繰り返す。
最後のイテレーションでは、擬似ラベルを使用して分類器を訓練する。
本アルゴリズムは,表型および画像型のLLPバイナリ分類問題に対して,複数のSOTAベースライン(最大15%)に対して強い利得を示す。
我々は,100万個のサンプルであっても,Belief Propagationによる標準的な教師あり学習よりも計算オーバーヘッドが最小限に抑えられたこれらの改善を実現する。
関連論文リスト
- Active Generalized Category Discovery [60.69060965936214]
GCD(Generalized Category Discovery)は、新しいクラスと古いクラスの未ラベルのサンプルをクラスタ化するための取り組みである。
我々は,能動的学習の精神を取り入れて,能動的一般化カテゴリー発見(AGCD)という新たな設定を提案する。
提案手法は, 汎用および微粒なデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-07T07:12:24Z) - Pseudo-labelling meets Label Smoothing for Noisy Partial Label Learning [8.387189407144403]
部分ラベル学習(Partial label learning、PLL)は、各トレーニングインスタンスが候補ラベル(Partial label)のセットとペアリングされる弱い教師付き学習パラダイムである。
NPLLはこの制約を緩和し、一部の部分ラベルが真のラベルを含まないようにし、問題の実用性を高める。
本稿では,近傍の重み付けアルゴリズムを用いて,雑音のある部分ラベルを利用して画像に擬似ラベルを割り当てる最小限のフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-07T13:32:47Z) - Generating Unbiased Pseudo-labels via a Theoretically Guaranteed
Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。
本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。
チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
論文 参考訳（メタデータ） (2023-11-03T08:39:35Z) - Partial-Label Regression [54.74984751371617]
部分ラベル学習は、弱い教師付き学習環境であり、各トレーニング例に候補ラベルのセットをアノテートすることができる。
部分ラベル学習に関する従来の研究は、候補ラベルがすべて離散的な分類設定のみに焦点を当てていた。
本稿では,各トレーニング例に実値付き候補ラベルのセットをアノテートした部分ラベル回帰を初めて検討する。
論文 参考訳（メタデータ） (2023-06-15T09:02:24Z) - Learning from Stochastic Labels [8.178975818137937]
マルチクラスインスタンスのアノテーションは、機械学習の分野で重要なタスクである。
本稿では,これらのラベルから学習するための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-02-01T08:04:27Z) - Dist-PU: Positive-Unlabeled Learning from a Label Distribution
Perspective [89.5370481649529]
本稿では,PU学習のためのラベル分布視点を提案する。
そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。
提案手法の有効性を3つのベンチマークデータセットで検証した。
論文 参考訳（メタデータ） (2022-12-06T07:38:29Z) - Instance-Dependent Partial Label Learning [69.49681837908511]
部分ラベル学習は、典型的には弱教師付き学習問題である。
既存のほとんどのアプローチでは、トレーニングサンプルの間違ったラベルがランダムに候補ラベルとして選択されていると仮定している。
本稿では,各例が実数で構成された潜在ラベル分布と関連していると仮定する。
論文 参考訳（メタデータ） (2021-10-25T12:50:26Z) - Active Learning in Incomplete Label Multiple Instance Multiple Label
Learning [17.5720245903743]
MIML設定におけるアクティブラーニングのための新しいバッグクラスペア方式を提案する。
我々のアプローチは、効率的かつ正確な推論を伴う識別的グラフィカルモデルに基づいている。
論文 参考訳（メタデータ） (2021-07-22T17:01:28Z) - All Labels Are Not Created Equal: Enhancing Semi-supervision via Label
Grouping and Co-training [32.45488147013166]
Pseudo-labelingは、半教師付き学習(SSL)の鍵となるコンポーネントである
本論文では,ラベルセマンティクスとコトレーニングを活用した問題解決手法であるSemCoを提案する。
提案手法は,1000個のラベル付きサンプルを持つミニイメージネットデータセットにおける5.6%の精度向上を含む,様々なsslタスクにおいて最先端の性能を実現する。
論文 参考訳（メタデータ） (2021-04-12T07:33:16Z) - A Study on the Autoregressive and non-Autoregressive Multi-label
Learning [77.11075863067131]
本稿では,ラベルとラベルの依存関係を共同で抽出する自己アテンションに基づく変分エンコーダモデルを提案する。
したがって、ラベルラベルとラベル機能の両方の依存関係を保ちながら、すべてのラベルを並列に予測することができる。
論文 参考訳（メタデータ） (2020-12-03T05:41:44Z) - Instance Credibility Inference for Few-Shot Learning [45.577880041135785]
ほとんどショットラーニングは、カテゴリごとに非常に限られたトレーニングデータを持つ新しいオブジェクトを認識することを目的としていない。
本稿では,未ラベルのインスタンスの分散サポートを数発の学習に活用するために,ICI (Instance Credibility Inference) と呼ばれる単純な統計手法を提案する。
我々の単純なアプローチは、広く使われている4つのショットラーニングベンチマークデータセットに基づいて、最先端の新たなデータセットを確立することができる。
論文 参考訳（メタデータ） (2020-03-26T12:01:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。