Fugu-MT 論文翻訳(概要): Optimizing Active Learning for Low Annotation Budgets

論文の概要: Optimizing Active Learning for Low Annotation Budgets

arxiv url: http://arxiv.org/abs/2201.07200v1
Date: Tue, 18 Jan 2022 18:53:10 GMT
ステータス: 処理完了
システム内更新日: 2022-01-19 17:04:06.872815
Title: Optimizing Active Learning for Low Annotation Budgets
Title（参考訳）: 低アノテーション予算に対するアクティブラーニングの最適化
Authors: Umang Aggarwal, Adrian Popescu and C\'eline Hudelot
Abstract要約: ディープラーニングでは、アクティブな学習は通常、微調整によって連続した深層モデルを更新する反復的なプロセスとして実装される。移行学習にインスパイアされたアプローチを用いてこの問題に対処する。本稿では,ALプロセスの反復性を利用してより堅牢なサンプルを抽出する新しい取得関数を提案する。
参考スコア（独自算出の注目度）: 6.753808772846254
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: When we can not assume a large amount of annotated data , active learning is a good strategy. It consists in learning a model on a small amount of annotated data (annotation budget) and in choosing the best set of points to annotate in order to improve the previous model and gain in generalization. In deep learning, active learning is usually implemented as an iterative process in which successive deep models are updated via fine tuning, but it still poses some issues. First, the initial batch of annotated images has to be sufficiently large to train a deep model. Such an assumption is strong, especially when the total annotation budget is reduced. We tackle this issue by using an approach inspired by transfer learning. A pre-trained model is used as a feature extractor and only shallow classifiers are learned during the active iterations. The second issue is the effectiveness of probability or feature estimates of early models for AL task. Samples are generally selected for annotation using acquisition functions based only on the last learned model. We introduce a novel acquisition function which exploits the iterative nature of AL process to select samples in a more robust fashion. Samples for which there is a maximum shift towards uncertainty between the last two learned models predictions are favored. A diversification step is added to select samples from different regions of the classification space and thus introduces a representativeness component in our approach. Evaluation is done against competitive methods with three balanced and imbalanced datasets and outperforms them.
Abstract（参考訳）: 大量の注釈付きデータを想定できない場合、アクティブな学習は良い戦略です。これは、少量の注釈付きデータ(注釈付き予算)でモデルを学習し、以前のモデルを改善し、一般化する上で最適な点群を選択することで構成される。ディープラーニングでは、アクティブラーニングは通常、連続したディープラーニングモデルが微調整によって更新される反復的なプロセスとして実装されるが、それでも問題が発生する。まず、注釈付き画像の最初のバッチは、深層モデルのトレーニングに十分な大きさでなければならない。このような仮定は特に総アノテーション予算が削減された場合に強くなる。我々は,転送学習に触発されたアプローチを用いてこの問題に取り組む。事前学習されたモデルを特徴抽出器として使用し、アクティブイテレーション中に浅い分類器のみを学習する。第2の問題は、ALタスクの初期モデルの確率または特徴推定の有効性である。サンプルは、通常、最後の学習モデルのみに基づいて取得関数を使用してアノテーションに選択される。本稿では,ALプロセスの反復性を利用してより堅牢なサンプルを抽出する新しい取得関数を提案する。最後の2つの学習したモデル予測の間の不確実性への最大シフトがあるサンプルが好まれる。分類空間の異なる領域からサンプルを選択するために多様化ステップを追加し,提案手法に代表性成分を導入する。評価は、バランスのとれた3つの不均衡なデータセットによる競合メソッドに対して行われ、それらを上回る。

関連論文リスト

Adaptive Intra-Class Variation Contrastive Learning for Unsupervised Person Re-Identification [10.180143197144803]
AdaInCVと呼ばれる教師なしRe-IDのための適応型クラス内変動コントラスト学習アルゴリズムを提案する。このアルゴリズムは,クラスタリング後のクラス内変動を考慮し,各クラスのモデルの学習能力を定量的に評価する。より具体的には、Adaptive Sample Mining (AdaSaM)とAdaptive Outlier Filter (AdaOF)の2つの新しい戦略が提案されている。
論文参考訳（メタデータ） (2024-04-06T15:48:14Z)
Class incremental learning with probability dampening and cascaded gated classifier [4.285597067389559]
本稿では, Margin Dampening と Cascaded Scaling という新たな漸進正規化手法を提案する。 1つ目は、ソフト制約と知識蒸留のアプローチを組み合わせて、過去の知識を保存し、新しいパターンを忘れることを可能にします。提案手法は,複数のベンチマークにおいて,確立されたベースラインで良好に動作することを示す。
論文参考訳（メタデータ） (2024-02-02T09:33:07Z)
Zero-shot Active Learning Using Self Supervised Learning [11.28415437676582]
我々は,反復的なプロセスを必要としないモデル非依存の新たなアクティブラーニング手法を提案する。アクティブラーニングの課題に自己指導型学習機能を活用することを目的としている。
論文参考訳（メタデータ） (2024-01-03T11:49:07Z)
ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文参考訳（メタデータ） (2023-04-07T23:51:07Z)
MoBYv2AL: Self-supervised Active Learning for Image Classification [57.4372176671293]
画像分類のための自己教師型アクティブラーニングフレームワークであるMoBYv2ALを提案する。私たちの貢献は、最も成功した自己教師付き学習アルゴリズムであるMoBYをALパイプラインに持ち上げることです。近年のAL法と比較すると,最先端の結果が得られている。
論文参考訳（メタデータ） (2023-01-04T10:52:02Z)
A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文参考訳（メタデータ） (2022-04-11T18:31:53Z)
Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
論文参考訳（メタデータ） (2022-04-07T17:58:07Z)
Uncertainty Estimation for Language Reward Models [5.33024001730262]
言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
論文参考訳（メタデータ） (2022-03-14T20:13:21Z)
A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文参考訳（メタデータ） (2022-02-08T19:18:49Z)
Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
論文参考訳（メタデータ） (2021-01-20T13:59:25Z)
Identifying Wrongly Predicted Samples: A Method for Active Learning [6.976600214375139]
本稿では,不確実性を超えた単純なサンプル選択基準を提案する。予測されたサンプルを正しく識別するために、最先端の結果とより良いレートを示す。
論文参考訳（メタデータ） (2020-10-14T09:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。