論文の概要: Taming Small-sample Bias in Low-budget Active Learning

• arxiv url: http://arxiv.org/abs/2306.11056v1
• Date: Mon, 19 Jun 2023 16:42:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 17:01:19.494332
• Title: Taming Small-sample Bias in Low-budget Active Learning
• Title（参考訳）: 低予算アクティブラーニングにおける小サンプルバイアスの活用
• Authors: Linxin Song, Jieyu Zhang, Xiaotian Lu, Tianyi Zhou
• Abstract要約: ファースバイアス低減は、モデルトレーニングプロセス中のバイアスを確実に低減することができるが、その係数が学習の進行に適応しない場合、学習を妨げる可能性がある。 本稿では,学習プロセスに適応する係数を自動的に調整できるカリキュラムFirth bias reduction (CHAIN)を提案する。
• 参考スコア（独自算出の注目度）: 20.900107811622803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Active learning (AL) aims to minimize the annotation cost by only querying a few informative examples for each model training stage. However, training a model on a few queried examples suffers from the small-sample bias. In this paper, we address this small-sample bias issue in low-budget AL by exploring a regularizer called Firth bias reduction, which can provably reduce the bias during the model training process but might hinder learning if its coefficient is not adaptive to the learning progress. Instead of tuning the coefficient for each query round, which is sensitive and time-consuming, we propose the curriculum Firth bias reduction (CHAIN) that can automatically adjust the coefficient to be adaptive to the training process. Under both deep learning and linear model settings, experiments on three benchmark datasets with several widely used query strategies and hyperparameter searching methods show that CHAIN can be used to build more efficient AL and can substantially improve the progress made by each active learning query.
• Abstract（参考訳）: アクティブラーニング(al)は、モデルのトレーニングステージ毎にいくつかの有益な例をクエリするだけで、アノテーションコストを最小化することを目的としている。 しかし、いくつかのクエリー例でモデルをトレーニングすることは、小さなサンプルバイアスに悩まされる。 本稿では,モデル学習中にバイアスを低減できるfirth bias reductionと呼ばれる正規化子を探索することで,低予算alにおけるこの小さなサンプルバイアス問題に対処する。 そこで本研究では,各問合せラウンドの係数の調整を行う代わりに,学習プロセスに適応する係数を自動的に調整可能なカリキュラムfirth bias reduction (chain)を提案する。 ディープラーニングと線形モデル設定の両方の下で、いくつかの広く使用されているクエリ戦略とハイパーパラメータ検索メソッドを備えた3つのベンチマークデータセットの実験により、CHAINがより効率的なALの構築に利用でき、各アクティブな学習クエリによる進捗を大幅に改善できることが示された。

関連論文リスト

• An Efficient Replay for Class-Incremental Learning with Pre-trained Models [0.0]
  授業増分学習では,各クラス中心で案内される重み間の定常状態が破壊され,忘れることと大きく相関する。 忘れを克服する新しい方法を提案する。
  論文  参考訳（メタデータ） (2024-08-15T11:26:28Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• D-CALM: A Dynamic Clustering-based Active Learning Approach for Mitigating Bias [13.008323851750442]
  本稿では,クラスタリングとアノテーションを動的に調整する適応型クラスタリングに基づく能動的学習アルゴリズムD-CALMを提案する。 感情,ヘイトスピーチ,ダイアログ行為,書籍型検出など,多種多様なテキスト分類タスクのための8つのデータセットの実験により,提案アルゴリズムがベースラインALアプローチを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2023-05-26T15:17:43Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Optimizing Active Learning for Low Annotation Budgets [6.753808772846254]
  ディープラーニングでは、アクティブな学習は通常、微調整によって連続した深層モデルを更新する反復的なプロセスとして実装される。 移行学習にインスパイアされたアプローチを用いてこの問題に対処する。 本稿では,ALプロセスの反復性を利用してより堅牢なサンプルを抽出する新しい取得関数を提案する。
  論文  参考訳（メタデータ） (2022-01-18T18:53:10Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。