論文の概要: Active Learning on a Budget: Opposite Strategies Suit High and Low
Budgets
- arxiv url: http://arxiv.org/abs/2202.02794v2
- Date: Tue, 8 Feb 2022 15:43:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-09 13:41:31.251454
- Title: Active Learning on a Budget: Opposite Strategies Suit High and Low
Budgets
- Title(参考訳): 予算のアクティブラーニング - 高予算と低予算の逆戦略
- Authors: Guy Hacohen, Avihu Dekel, Daphna Weinshall
- Abstract要約: 予算が大きければ,非定型的な点が最善であるのに対して,典型的な点が低予算で問合せされるべきであることを示す。
低予算に適したディープラーニング戦略であるTypiClustを提案する。
- 参考スコア(独自算出の注目度): 8.937905773981702
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Investigating active learning, we focus on the relation between the number of
labeled examples (budget size), and suitable corresponding querying strategies.
Our theoretical analysis shows a behavior reminiscent of phase transition:
typical points should best be queried in the low budget regime, while atypical
(or uncertain) points are best queried when the budget is large. Combined
evidence from our theoretical and empirical studies shows that a similar
phenomenon occurs in simple classification models. Accordingly, we propose
TypiClust -- a deep active learning strategy suited for low budgets. In a
comparative empirical investigation using a variety of architectures and image
datasets, we report that in the low budget regime, TypiClust outperforms all
other active learning strategies. Using TypiClust in a semi-supervised
framework, the performance of competitive semi-supervised methods gets a
significant boost, surpassing the state of the art.
- Abstract(参考訳): 積極的学習を考察し,ラベル付きサンプルの数(予算規模)と適切なクエリ戦略との関係に着目した。
我々の理論的分析は、相転移を想起させる行動を示している:典型的な点は、予算が大きければ、非定型的(または不確実)な点が最善である。
理論的および実証的な研究から、同様の現象が単純な分類モデルで起こることが示されている。
そこで本研究では,低予算化に適した学習戦略であるtypiclustを提案する。
さまざまなアーキテクチャとイメージデータセットを用いた比較実証調査において,低予算のTypiClustは,他のすべてのアクティブな学習戦略よりも優れていることを報告した。
半教師付きフレームワークでTypiClustを使用することで、競争力のある半教師付き手法のパフォーマンスが大幅に向上し、最先端技術を上回っます。
関連論文リスト
- Hierarchical Decomposition of Prompt-Based Continual Learning:
Rethinking Obscured Sub-optimality [55.88910947643436]
大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。
HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。
実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
論文 参考訳(メタデータ) (2023-10-11T06:51:46Z) - ALE: A Simulation-Based Active Learning Evaluation Framework for the
Parameter-Driven Comparison of Query Strategies for NLP [3.024761040393842]
Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。
この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。
NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-01T10:42:11Z) - How to Select Which Active Learning Strategy is Best Suited for Your
Specific Problem and Budget [17.62242617965356]
本稿では,予算の最適戦略を動的に識別する実用的な微分法を提案する。
次に,問題の特徴と利用可能な予算を考慮したAL戦略を動的に選択する手法を提案する。
その結果,様々な予算やコンピュータビジョンタスクにまたがるアプローチの有効性が示された。
論文 参考訳(メタデータ) (2023-06-06T09:44:56Z) - Provable Reward-Agnostic Preference-Based Reinforcement Learning [67.07008558942792]
PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。
本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-29T15:00:09Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳(メタデータ) (2022-11-26T21:02:09Z) - Active Learning Through a Covering Lens [7.952582509792972]
ディープラーニングは、ディープニューラルネットワークのアノテーションコストを削減することを目的としている。
低予算体制のための新しいアクティブラーニングアルゴリズムであるProbCoverを提案する。
いくつかの画像認識ベンチマークにおいて,我々の原理的アクティブラーニング戦略は,低予算体制の最先端性を向上することを示す。
論文 参考訳(メタデータ) (2022-05-23T14:03:23Z) - Contrastive Learning for Fair Representations [50.95604482330149]
訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。
対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。
比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
論文 参考訳(メタデータ) (2021-09-22T10:47:51Z) - A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。
我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。
実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
論文 参考訳(メタデータ) (2021-08-05T15:58:25Z) - Matching a Desired Causal State via Shift Interventions [13.89612747723388]
我々は,能動的学習を通じて,システムの望ましい平均値と一致するシフト介入を特定することの問題点を考察する。
目的と正確に一致することが保証される2つのアクティブな学習戦略を提案する。
我々の戦略は、これまで検討されたアプローチよりも指数関数的に少ない介入を必要とする可能性がある。
論文 参考訳(メタデータ) (2021-07-05T08:11:36Z) - Toward Optimal Probabilistic Active Learning Using a Bayesian Approach [4.380488084997317]
アクティブラーニングは、コストの高いラベリングリソースを効率よく効果的に割り当てることで、ラベリングコストを削減することを目的としている。
提案したモデルにおける既存の選択戦略を再構築することにより、どの側面が現在の最先端に包含されていないかを説明することができる。
論文 参考訳(メタデータ) (2020-06-02T15:59:42Z) - Learning to Select Base Classes for Few-shot Classification [96.92372639495551]
我々は、数ショットモデルの一般化性能を示す指標として、類似度比を用いる。
次に、類似度比に対する部分モジュラー最適化問題として基底クラス選択問題を定式化する。
論文 参考訳(メタデータ) (2020-04-01T09:55:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。