論文の概要: Improved Adaptive Algorithm for Scalable Active Learning with Weak Labeler

• arxiv url: http://arxiv.org/abs/2211.02233v1
• Date: Fri, 4 Nov 2022 02:52:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 16:08:58.449999
• Title: Improved Adaptive Algorithm for Scalable Active Learning with Weak Labeler
• Title（参考訳）: 弱ラベルを用いたスケーラブル能動学習のための適応アルゴリズムの改良
• Authors: Yifang Chen, Karthik Sankararaman, Alessandro Lazaric, Matteo Pirotta, Dmytro Karamshuk, Qifan Wang, Karishma Mandyam, Sinong Wang, Han Fang
• Abstract要約: Weak Labeler Active Cover (WL-AC)は、要求される精度を維持しながら、クエリの複雑さを低減するために、低品質の弱いラベルを堅牢に活用することができる。 受動学習と同一の精度を維持しつつラベル数を著しく削減し, 劣化したMNISTデータセット上での有効性を示す。
• 参考スコア（独自算出の注目度）: 89.27610526884496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active learning with strong and weak labelers considers a practical setting where we have access to both costly but accurate strong labelers and inaccurate but cheap predictions provided by weak labelers. We study this problem in the streaming setting, where decisions must be taken \textit{online}. We design a novel algorithmic template, Weak Labeler Active Cover (WL-AC), that is able to robustly leverage the lower quality weak labelers to reduce the query complexity while retaining the desired level of accuracy. Prior active learning algorithms with access to weak labelers learn a difference classifier which predicts where the weak labels differ from strong labelers; this requires the strong assumption of realizability of the difference classifier (Zhang and Chaudhuri,2015). WL-AC bypasses this \textit{realizability} assumption and thus is applicable to many real-world scenarios such as random corrupted weak labels and high dimensional family of difference classifiers (\textit{e.g.,} deep neural nets). Moreover, WL-AC cleverly trades off evaluating the quality with full exploitation of weak labelers, which allows to convert any active learning strategy to one that can leverage weak labelers. We provide an instantiation of this template that achieves the optimal query complexity for any given weak labeler, without knowing its accuracy a-priori. Empirically, we propose an instantiation of the WL-AC template that can be efficiently implemented for large-scale models (\textit{e.g}., deep neural nets) and show its effectiveness on the corrupted-MNIST dataset by significantly reducing the number of labels while keeping the same accuracy as in passive learning.
• Abstract（参考訳）: 強力なラベルつきと弱いラベルつきのアクティブラーニングは、コストがかかるが正確なラベルつきと、弱いラベルつきによって提供される不正確だが安価な予測の両方にアクセスできる実践的な環境だと考えている。 我々は、この問題をストリーミング環境で研究し、そこでは決定は \textit{online} で行わなければならない。 我々は,低品質の弱いラベラーをロバストに活用し,所望の精度を維持しつつクエリの複雑さを低減できる,新しいアルゴリズムテンプレートであるweak labeler active cover(wl-ac)を設計した。 弱いラベルを持つ事前能動的学習アルゴリズムは、弱いラベルと強いラベルのどこが異なるかを予測する差分分類器を学習するが、これは差分分類器の実現可能性の強い仮定を必要とする(Zhang and Chaudhuri, 2015)。 WL-AC はこの \textit{realizability} 仮定を回避し、ランダムな破損した弱いラベルや高次元の差分分類器群 (\textit{e.} Deep Neural nets) のような多くの実世界のシナリオに適用できる。 さらにWL-ACは、弱いラベルをフルに活用することで品質の評価を巧みに切り離し、弱いラベルを活用できるようなアクティブな学習戦略に変換することができる。 このテンプレートのインスタンス化により,a-prioriの精度を知らずに,任意の弱いラベラーに対して最適なクエリ複雑性を実現する。 本稿では,大規模モデル (\textit{e.g}) に対して効率的に実装可能な WL-AC テンプレートのインスタンス化を提案する。 ラベル数を大幅に削減し,受動的学習と同じ精度を維持しながら,破損したMNISTデータセット上での有効性を示す。

関連論文リスト

• Robust Representation Learning for Unreliable Partial Label Learning [86.909511808373]
  部分ラベル学習(Partial Label Learning, PLL)は、弱い教師付き学習の一種で、各トレーニングインスタンスに候補ラベルのセットが割り当てられる。 これはUn Reliable partial Label Learning (UPLL) と呼ばれ、部分ラベルの本質的な信頼性の欠如とあいまいさにより、さらなる複雑さをもたらす。 本研究では,信頼できない部分ラベルに対するモデル強化を支援するために,信頼性に欠けるコントラスト学習を活用するUnreliability-Robust Representation Learning framework(URRL)を提案する。
  論文  参考訳（メタデータ） (2023-08-31T13:37:28Z)
• AutoWS: Automated Weak Supervision Framework for Text Classification [1.748907524043535]
  本稿では、ドメインエキスパートへの依存を減らしつつ、弱い監督プロセスの効率を高めるための新しい枠組みを提案する。 本手法では,ラベルクラス毎にラベル付きサンプルの小さなセットが必要であり,多数のラベル付きデータにノイズ付きラベルを割り当てるラベル付き関数のセットを自動生成する。
  論文  参考訳（メタデータ） (2023-02-07T07:12:05Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Losses over Labels: Weakly Supervised Learning via Direct Loss Construction [71.11337906077483]
  プログラム可能な弱い監視は、機械学習のパラダイムとして成長している。 ラベルの中間ステップを経由することなく,直接損失を発生させるため,ラベルのロバスト・オーバー・ラベル(Losses over Labels, LoL)を提案する。 いくつかのベンチマークテキストおよび画像分類タスクにおいて、LoLは既存の弱い監督手法を改善していることを示す。
  論文  参考訳（メタデータ） (2022-12-13T22:29:14Z)
• Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
  雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。 擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。 アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
  論文  参考訳（メタデータ） (2022-06-13T14:04:57Z)
• Label Noise-Resistant Mean Teaching for Weakly Supervised Fake News Detection [93.6222609806278]
  本稿では,弱い教師付き偽ニュース検出のためのラベル雑音耐性平均教育手法 (LNMT) を提案する。 LNMTは、未ラベルのニュースとユーザのフィードバックコメントを活用して、トレーニングデータの量を増やす。 LNMTはラベル伝搬とラベル信頼性推定を備えた平均教師フレームワークを確立する。
  論文  参考訳（メタデータ） (2022-06-10T16:01:58Z)
• ATM: An Uncertainty-aware Active Self-training Framework for Label-efficient Text Classification [13.881283744970979]
  ATMは、ラベルのないデータを活用するために自己学習を利用する新しいフレームワークであり、特定のALアルゴリズムに依存しない。 我々はATMが最強のアクティブラーニングと自己学習ベースラインを上回り、ラベル効率を平均51.9%向上させることを実証した。
  論文  参考訳（メタデータ） (2021-12-16T11:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。