論文の概要: NTKCPL: Active Learning on Top of Self-Supervised Model by Estimating True Coverage

• arxiv url: http://arxiv.org/abs/2306.04099v1
• Date: Wed, 7 Jun 2023 01:43:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 16:39:32.725608
• Title: NTKCPL: Active Learning on Top of Self-Supervised Model by Estimating True Coverage
• Title（参考訳）: NTKCPL:真のカバレッジ推定による自己監督モデル上でのアクティブラーニング
• Authors: Ziting Wen, Oscar Pizarro, Stefan Williams
• Abstract要約: ニューラル・タンジェント・カーネル・クラスタリング・プシュード・ラベル(NTKCPL)の新しいアクティブ・ラーニング・ストラテジーを提案する。 擬似ラベルとNTK近似を用いたモデル予測に基づいて経験的リスクを推定する。 提案手法を5つのデータセット上で検証し,ほとんどの場合,ベースライン法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 3.4806267677524896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High annotation cost for training machine learning classifiers has driven extensive research in active learning and self-supervised learning. Recent research has shown that in the context of supervised learning different active learning strategies need to be applied at various stages of the training process to ensure improved performance over the random baseline. We refer to the point where the number of available annotations changes the suitable active learning strategy as the phase transition point. In this paper, we establish that when combining active learning with self-supervised models to achieve improved performance, the phase transition point occurs earlier. It becomes challenging to determine which strategy should be used for previously unseen datasets. We argue that existing active learning algorithms are heavily influenced by the phase transition because the empirical risk over the entire active learning pool estimated by these algorithms is inaccurate and influenced by the number of labeled samples. To address this issue, we propose a novel active learning strategy, neural tangent kernel clustering-pseudo-labels (NTKCPL). It estimates empirical risk based on pseudo-labels and the model prediction with NTK approximation. We analyze the factors affecting this approximation error and design a pseudo-label clustering generation method to reduce the approximation error. We validate our method on five datasets, empirically demonstrating that it outperforms the baseline methods in most cases and is valid over a wider range of training budgets.
• Abstract（参考訳）: 機械学習分類器を訓練するための高アノテーションコストは、アクティブラーニングと自己教師型学習の広範な研究を促している。 近年の研究では、教師付き学習の文脈において、ランダムなベースラインに対するパフォーマンス向上を確保するために、トレーニングプロセスのさまざまな段階で異なるアクティブラーニング戦略を適用する必要があることが示されている。 利用可能なアノテーションの数が相転移点として適切なアクティブラーニング戦略を変更する点について述べる。 本稿では,アクティブラーニングと自己教師付きモデルを組み合わせた場合,相転移点が早期に出現することを示す。 以前は見つからなかったデータセットに使用する戦略を決定するのは難しい。 これらのアルゴリズムによって推定されるアクティブ学習プール全体の経験的リスクは、ラベル付きサンプルの数によって不正確で影響を受けやすいため、既存のアクティブ学習アルゴリズムは相転移の影響を強く受けている。 そこで本研究では,新しいアクティブラーニング戦略であるneural tangent kernel clustering-pseudo-labels (ntkcpl)を提案する。 疑似ラベルに基づく経験的リスクとntk近似によるモデル予測を推定する。 この近似誤差に影響する要因を分析し,近似誤差を低減するために擬似ラベルクラスタリング法を設計する。 提案手法を5つのデータセット上で検証し,その多くがベースラインメソッドを上回っており,幅広いトレーニング予算で有効であることを実証した。

関連論文リスト

• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• Active Learning Guided by Efficient Surrogate Learners [25.52920030051264]
  1つのデータポイントが新しいラベルを受け取るたびに、ディープラーニングモデルを再トレーニングするのは現実的ではない。 本稿では,ニューラルネットワークの主学習者とともに,ガウス過程の力を利用する新しい能動学習アルゴリズムを提案する。 提案モデルでは,新しいデータインスタンス毎のサロゲート学習者を積極的に更新し,ニューラルネットワークの連続学習ダイナミクスをエミュレートし,活用する。
  論文  参考訳（メタデータ） (2023-01-07T01:35:25Z)
• Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
  我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。 まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。 トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
  論文  参考訳（メタデータ） (2022-11-24T13:18:27Z)
• Making Look-Ahead Active Learning Strategies Feasible with Neural Tangent Kernels [6.372625755672473]
  本稿では,仮説的ラベル付き候補データを用いた再学習に基づく,能動的学習獲得戦略の近似手法を提案する。 通常、これはディープ・ネットワークでは実現できないが、我々はニューラル・タンジェント・カーネルを用いて再トレーニングの結果を近似する。
  論文  参考訳（メタデータ） (2022-06-25T06:13:27Z)
• Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
  クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。 表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
  論文  参考訳（メタデータ） (2022-06-16T11:44:11Z)
• MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
  近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。 本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。 特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
  論文  参考訳（メタデータ） (2021-07-23T06:57:08Z)
• Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
  自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。 我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。 また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-01-20T13:59:25Z)
• Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification [29.43017692274488]
  深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
  論文  参考訳（メタデータ） (2020-09-30T05:19:56Z)
• Active Learning for Gaussian Process Considering Uncertainties with Application to Shape Control of Composite Fuselage [7.358477502214471]
  ガウス過程に不確実性のある2つの新しい能動学習アルゴリズムを提案する。 提案手法は不確実性の影響を取り入れ,予測性能の向上を実現する。 本手法は, 複合胴体の自動形状制御における予測モデルの改善に応用されている。
  論文  参考訳（メタデータ） (2020-04-23T02:04:53Z)
• Fase-AL -- Adaptation of Fast Adaptive Stacking of Ensembles for Supporting Active Learning [0.0]
  本研究は,Active Learning を用いて非ラベルのインスタンスで分類モデルを誘導する FASE-AL アルゴリズムを提案する。 このアルゴリズムは、正しく分類されたインスタンスの割合で有望な結果を得る。
  論文  参考訳（メタデータ） (2020-01-30T17:25:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。