論文の概要: TiDAL: Learning Training Dynamics for Active Learning

• arxiv url: http://arxiv.org/abs/2210.06788v2
• Date: Sat, 9 Sep 2023 08:26:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 23:12:00.428610
• Title: TiDAL: Learning Training Dynamics for Active Learning
• Title（参考訳）: TiDAL: アクティブラーニングのための学習トレーニングダイナミクス
• Authors: Seong Min Kye, Kwanghee Choi, Hyeongmin Byun, Buru Chang
• Abstract要約: ラベルのないデータの不確実性を定量化するために,TiDAL(Training Dynamics for Active Learning)を提案する。 全ての大規模未ラベルデータのTDを追跡することは現実的ではないため、TiDALはラベル付きデータのTDを学習する追加の予測モジュールを使用する。 我々のTiDALは、最先端のAL手法と比較して、バランスの取れたベンチマークデータセットとバランスの取れていないベンチマークデータセットの両方で、より良い、あるいは同等のパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 10.832194534164142
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active learning (AL) aims to select the most useful data samples from an unlabeled data pool and annotate them to expand the labeled dataset under a limited budget. Especially, uncertainty-based methods choose the most uncertain samples, which are known to be effective in improving model performance. However, AL literature often overlooks training dynamics (TD), defined as the ever-changing model behavior during optimization via stochastic gradient descent, even though other areas of literature have empirically shown that TD provides important clues for measuring the sample uncertainty. In this paper, we propose a novel AL method, Training Dynamics for Active Learning (TiDAL), which leverages the TD to quantify uncertainties of unlabeled data. Since tracking the TD of all the large-scale unlabeled data is impractical, TiDAL utilizes an additional prediction module that learns the TD of labeled data. To further justify the design of TiDAL, we provide theoretical and empirical evidence to argue the usefulness of leveraging TD for AL. Experimental results show that our TiDAL achieves better or comparable performance on both balanced and imbalanced benchmark datasets compared to state-of-the-art AL methods, which estimate data uncertainty using only static information after model training.
• Abstract（参考訳）: Active Learning(AL)は、ラベル付きデータプールから最も有用なデータサンプルを選択して、ラベル付きデータセットを限られた予算で拡張することを目的としている。 特に不確実性に基づく手法は、モデルの性能向上に有効な最も不確実性のあるサンプルを選択する。 しかし、al文献では、tdがサンプルの不確かさを測定する上で重要な手がかりとなることを実証的に示しているにもかかわらず、確率的勾配降下による最適化において常に変化するモデル行動として定義されるトレーニングダイナミクス(td)がしばしば見過ごされている。 本稿では,tdを利用してラベルなしデータの不確かさを定量化する新しいal法であるtidal(training dynamics for active learning)を提案する。 全ての大規模未ラベルデータのTDを追跡することは現実的ではないため、TiDALはラベル付きデータのTDを学習する追加の予測モジュールを使用する。 さらにTiDALの設計を正当化するため、理論的および実証的な証拠を提供し、ALにTDを活用することの有用性を論じる。 実験結果から,我々のTiDALは,モデルトレーニング後の静的情報のみを用いてデータ不確実性を推定する最先端のAL手法と比較して,バランスの取れたベンチマークデータセットと不均衡なベンチマークデータセットの両方において,より良い,あるいは同等のパフォーマンスを達成していることがわかった。

関連論文リスト

• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Continual Test-time Domain Adaptation via Dynamic Sample Selection [38.82346845855512]
  本稿では,連続テスト時間領域適応(CTDA)のための動的サンプル選択法を提案する。 誤情報を誤用するリスクを低減するため,高品質と低品質の両方のサンプルに共同正負の学習を適用した。 私たちのアプローチは3Dポイントのクラウドドメインでも評価されており、その汎用性とより広範な適用可能性を示している。
  論文  参考訳（メタデータ） (2023-10-05T06:35:21Z)
• Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
  ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。 本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-20T19:29:37Z)
• An Empirical Study on the Efficacy of Deep Active Learning for Image Classification [11.398892277968427]
  ディープアクティブラーニング(DAL)は、教師あり学習におけるラベリングコストを削減するための有望な方法として提唱されている。 既存のDAL手法の評価は異なる設定に基づいており、その結果は議論の余地がある。 本稿では,19の既存DAL手法を一様条件で総合的に評価する。
  論文  参考訳（メタデータ） (2022-11-30T17:44:59Z)
• ADT-SSL: Adaptive Dual-Threshold for Semi-Supervised Learning [68.53717108812297]
  Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータを併用してモデルをトレーニングすることで、高度な分類タスクを実現している。 本稿では,半教師付き学習(ADT-SSL)のための適応的デュアル閾値法を提案する。 実験の結果,提案したADT-SSLは最先端の分類精度を実現することがわかった。
  論文  参考訳（メタデータ） (2022-05-21T11:52:08Z)
• A Comparative Survey of Deep Active Learning [76.04825433362709]
  Active Learning (AL)は、ラベル付けのための大きなラベル付けされていないデータプールからデータサンプルを順次選択することで、ラベル付けコストを削減するための一連のテクニックである。 ディープラーニング(DL)はデータハングリーであり、DLモデルのパフォーマンスは、より多くのトレーニングデータとともに単調にスケールする。 近年、Deep Active Learning (DAL) は、高価なラベリングコストを最小化しつつ、モデル性能を最大化するための実現可能なソリューションとして上昇している。
  論文  参考訳（メタデータ） (2022-03-25T05:17:24Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification [29.43017692274488]
  深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
  論文  参考訳（メタデータ） (2020-09-30T05:19:56Z)
• Deep Active Learning for Biased Datasets via Fisher Kernel Self-Supervision [5.352699766206807]
  アクティブラーニング(AL)は、データ要求型ディープニューラルネットワーク(DNN)のラベル付け作業を最小化する 自己教師型フィッシャーカーネル(FK)を用いた特徴密度マッチングのための低複雑さ手法を提案する。 本手法は,MNIST,SVHN,ImageNetの分類において,処理の1/10しか必要とせず,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-03-01T03:56:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。