Fugu-MT 論文翻訳(概要): On the Marginal Benefit of Active Learning: Does Self-Supervision Eat Its Cake?

論文の概要: On the Marginal Benefit of Active Learning: Does Self-Supervision Eat Its Cake?

arxiv url: http://arxiv.org/abs/2011.08121v1
Date: Mon, 16 Nov 2020 17:34:55 GMT
ステータス: 処理完了
システム内更新日: 2022-09-25 00:40:37.457419
Title: On the Marginal Benefit of Active Learning: Does Self-Supervision Eat Its Cake?
Title（参考訳）: アクティブラーニングのマージナルベネフィットについて:自己スーパービジョンはケーキを食べるか?
Authors: Yao-Chun Chan, Mingchen Li, Samet Oymak
Abstract要約: 本稿では,自己指導型事前学習,能動的学習,一貫性型自己学習を統合した新しい枠組みを提案する。 i) 自己指導型事前学習は、特に少数レーベル体制において、セミ教師付き学習を大幅に改善する。我々は、最先端のS4L技術と組み合わせることで、最先端のアクティブな学習アルゴリズムのさらなるメリットを観察できない。
参考スコア（独自算出の注目度）: 31.563514432259897
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Active learning is the set of techniques for intelligently labeling large unlabeled datasets to reduce the labeling effort. In parallel, recent developments in self-supervised and semi-supervised learning (S4L) provide powerful techniques, based on data-augmentation, contrastive learning, and self-training, that enable superior utilization of unlabeled data which led to a significant reduction in required labeling in the standard machine learning benchmarks. A natural question is whether these paradigms can be unified to obtain superior results. To this aim, this paper provides a novel algorithmic framework integrating self-supervised pretraining, active learning, and consistency-regularized self-training. We conduct extensive experiments with our framework on CIFAR10 and CIFAR100 datasets. These experiments enable us to isolate and assess the benefits of individual components which are evaluated using state-of-the-art methods (e.g.~Core-Set, VAAL, simCLR, FixMatch). Our experiments reveal two key insights: (i) Self-supervised pre-training significantly improves semi-supervised learning, especially in the few-label regime, (ii) The benefit of active learning is undermined and subsumed by S4L techniques. Specifically, we fail to observe any additional benefit of state-of-the-art active learning algorithms when combined with state-of-the-art S4L techniques.
Abstract（参考訳）: アクティブラーニング(active learning)は、大きなラベルのないデータセットをインテリジェントにラベル付けし、ラベル付け作業を減らすためのテクニックのセットである。並行して、S4L(Self-supervised and semi-supervised learning)の最近の開発は、データ強化、コントラスト学習、自己学習に基づく強力な技術を提供し、標準機械学習ベンチマークにおける要求ラベルの大幅な削減につながった。自然な疑問は、これらのパラダイムがより優れた結果を得るために統一できるかどうかである。本稿では,自己教師付き事前学習,アクティブラーニング,一貫性正規化自己学習を統合した新しいアルゴリズムフレームワークを提案する。我々は、CIFAR10およびCIFAR100データセットに関するフレームワークで広範な実験を行う。これらの実験により、最先端のメソッド(例えば~Core-Set, VAAL, simCLR, FixMatch)を使って評価される個々のコンポーネントの利点を分離し、評価することができる。私たちの実験は2つの重要な洞察を示します。一自己指導型事前学習は、特に少数レーベル体制において、セミ教師型学習を著しく改善する。 (II) 能動学習の利点はS4L技術によって損なわれ, 仮定される。具体的には、最先端のS4L技術と組み合わせることで、最先端のアクティブな学習アルゴリズムのさらなるメリットを観察できない。

関連論文リスト

KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
論文参考訳（メタデータ） (2024-11-22T08:21:03Z)
Incremental Self-training for Semi-supervised Learning [56.57057576885672]
ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
論文参考訳（メタデータ） (2024-04-14T05:02:00Z)
BAL: Balancing Diversity and Novelty for Active Learning [53.289700543331925]
多様な不確実なデータのバランスをとるために適応的なサブプールを構築する新しいフレームワークであるBalancing Active Learning (BAL)を導入する。我々のアプローチは、広く認識されているベンチマークにおいて、確立されたすべてのアクティブな学習方法より1.20%優れています。
論文参考訳（メタデータ） (2023-12-26T08:14:46Z)
Active Learning Guided by Efficient Surrogate Learners [25.52920030051264]
1つのデータポイントが新しいラベルを受け取るたびに、ディープラーニングモデルを再トレーニングするのは現実的ではない。本稿では,ニューラルネットワークの主学習者とともに,ガウス過程の力を利用する新しい能動学習アルゴリズムを提案する。提案モデルでは,新しいデータインスタンス毎のサロゲート学習者を積極的に更新し,ニューラルネットワークの連続学習ダイナミクスをエミュレートし,活用する。
論文参考訳（メタデータ） (2023-01-07T01:35:25Z)
Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
論文参考訳（メタデータ） (2022-11-24T13:18:27Z)
Hyperspherical Consistency Regularization [45.00073340936437]
我々は,自己教師あり学習と教師あり学習の関係について検討し,自己教師あり学習がデータ効率のよい深層学習にどのように役立つかを検討する。超球面整合正則化(HCR)を提案し,特徴依存情報を用いた分類器の正規化を行い,ラベルからのバイアスを回避する。
論文参考訳（メタデータ） (2022-06-02T02:41:13Z)
CCLF: A Contrastive-Curiosity-Driven Learning Framework for Sample-Efficient Reinforcement Learning [56.20123080771364]
我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。 CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
論文参考訳（メタデータ） (2022-05-02T14:42:05Z)
Reducing Label Effort: Self-Supervised meets Active Learning [32.4747118398236]
自己学習の最近の進歩は、いくつかのデータセットで教師付き学習に匹敵する非常に印象的な成果を上げている。実験の結果, 自己学習は, ラベル付け作業の削減において, 積極的学習よりも極めて効率的であることが判明した。自己学習またはスクラッチでトレーニングされたアクティブラーニングのパフォーマンスギャップは、データセットのほぼ半分がラベル付けされた時点に近づくにつれて減少します。
論文参考訳（メタデータ） (2021-08-25T20:04:44Z)
Rebuilding Trust in Active Learning with Actionable Metrics [77.99796068970569]
アクティブラーニング(AL)は研究の活発な領域であるが、プレッシャーのあるニーズにもかかわらず、業界ではほとんど使われない。これは部分的には目的のずれによるものであり、研究は選択したデータセットで最高の結果を得るよう努力している。積極的学習における産業実践者の信頼回復を支援するために,様々な活動可能な指標を提示する。
論文参考訳（メタデータ） (2020-12-18T09:34:59Z)
A Comprehensive Benchmark Framework for Active Learning Methods in Entity Matching [17.064993611446898]
本稿では,EMのための統合型アクティブラーニングベンチマークフレームワークを構築する。このフレームワークの目的は、積極的学習の組み合わせがEMにどのような効果をもたらすかについて、実践者のための具体的なガイドラインを可能にすることである。また、F1スコアの観点から学習モデルの品質を約9%向上し、モデルの品質に影響を与えることなく、サンプル選択のレイテンシを最大10倍削減する新しい最適化も含んでいる。
論文参考訳（メタデータ） (2020-03-29T19:08:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。