論文の概要: Making Look-Ahead Active Learning Strategies Feasible with Neural Tangent Kernels

• arxiv url: http://arxiv.org/abs/2206.12569v1
• Date: Sat, 25 Jun 2022 06:13:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 14:06:07.801092
• Title: Making Look-Ahead Active Learning Strategies Feasible with Neural Tangent Kernels
• Title（参考訳）: ニューラルタンジェントカーネルによるルックアヘッドアクティブ学習戦略の実現
• Authors: Mohamad Amin Mohamadi, Wonho Bae, Danica J. Sutherland
• Abstract要約: 本稿では,仮説的ラベル付き候補データを用いた再学習に基づく,能動的学習獲得戦略の近似手法を提案する。 通常、これはディープ・ネットワークでは実現できないが、我々はニューラル・タンジェント・カーネルを用いて再トレーニングの結果を近似する。
• 参考スコア（独自算出の注目度）: 6.372625755672473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new method for approximating active learning acquisition strategies that are based on retraining with hypothetically-labeled candidate data points. Although this is usually infeasible with deep networks, we use the neural tangent kernel to approximate the result of retraining, and prove that this approximation works asymptotically even in an active learning setup -- approximating "look-ahead" selection criteria with far less computation required. This also enables us to conduct sequential active learning, i.e. updating the model in a streaming regime, without needing to retrain the model with SGD after adding each new data point. Moreover, our querying strategy, which better understands how the model's predictions will change by adding new data points in comparison to the standard ("myopic") criteria, beats other look-ahead strategies by large margins, and achieves equal or better performance compared to state-of-the-art methods on several benchmark datasets in pool-based active learning.
• Abstract（参考訳）: 本稿では,仮想ラベル付き候補データポイントの再学習に基づくアクティブラーニング獲得戦略を近似する新しい手法を提案する。 これは通常、ディープネットワークでは実現不可能であるが、神経接核を用いて再トレーニングの結果を近似し、この近似がアクティブな学習環境においても漸近的に機能することを証明する。 これにより、新たなデータポイントを追加してSGDでモデルを再トレーニングする必要がなく、ストリーミングシステムでモデルを更新するといった、逐次能動的学習も行えます。 さらに,新たなデータポイントを追加することで,モデルの予測がどのように変化するかをよりよく理解し,他のルックアヘッド戦略を大きなマージンで上回り,プールベースのアクティブラーニングにおいて,いくつかのベンチマークデータセットにおける最先端手法と比較して,同等あるいは優れたパフォーマンスを達成している。

関連論文リスト

• Modern Neighborhood Components Analysis: A Deep Tabular Baseline Two Decades Later [59.88557193062348]
  我々は、インスタンス間のセマンティックな類似性をキャプチャする線形射影を学習するために設計された古典的近傍成分分析(NCA)を再考する。 学習目的の調整や深層学習アーキテクチャの統合といった微調整は,NAAの性能を著しく向上させることがわかった。 また,提案したModernNCAの効率性と予測精度を向上する,近隣のサンプリング戦略も導入する。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• Optimal Sample Selection Through Uncertainty Estimation and Its Application in Deep Learning [22.410220040736235]
  コアセット選択とアクティブラーニングの両方に対処するための理論的に最適な解を提案する。 提案手法であるCOPSは,サブサンプルデータに基づいてトレーニングされたモデルの損失を最小限に抑えるために設計されている。
  論文  参考訳（メタデータ） (2023-09-05T14:06:33Z)
• NTKCPL: Active Learning on Top of Self-Supervised Model by Estimating True Coverage [3.4806267677524896]
  ニューラル・タンジェント・カーネル・クラスタリング・プシュード・ラベル(NTKCPL)の新しいアクティブ・ラーニング・ストラテジーを提案する。 擬似ラベルとNTK近似を用いたモデル予測に基づいて経験的リスクを推定する。 提案手法を5つのデータセット上で検証し,ほとんどの場合,ベースライン法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-07T01:43:47Z)
• Active Learning Guided by Efficient Surrogate Learners [25.52920030051264]
  1つのデータポイントが新しいラベルを受け取るたびに、ディープラーニングモデルを再トレーニングするのは現実的ではない。 本稿では,ニューラルネットワークの主学習者とともに,ガウス過程の力を利用する新しい能動学習アルゴリズムを提案する。 提案モデルでは,新しいデータインスタンス毎のサロゲート学習者を積極的に更新し,ニューラルネットワークの連続学習ダイナミクスをエミュレートし,活用する。
  論文  参考訳（メタデータ） (2023-01-07T01:35:25Z)
• Using Sum-Product Networks to Assess Uncertainty in Deep Active Learning [3.7507283158673212]
  本稿では,畳み込みニューラルネットワーク(CNN)を用いた深層能動学習における不確かさの計算方法を提案する。 CNN が抽出した特徴表現を Sum-Product Network (SPN) のトレーニングデータとして利用する。
  論文  参考訳（メタデータ） (2022-06-20T14:28:19Z)
• Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
  クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。 表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
  論文  参考訳（メタデータ） (2022-06-16T11:44:11Z)
• Gradient-Matching Coresets for Rehearsal-Based Continual Learning [6.243028964381449]
  継続学習(CL)の目標は、学習した知識を忘れずに、機械学習モデルを新しいデータで効率的に更新することである。 広く使われているほとんどのCLメソッドは、新しいデータのトレーニング中に再利用されるデータポイントのリハーサルメモリに依存している。 リハーサルに基づく連続学習のためのコアセット選択法を考案する。
  論文  参考訳（メタデータ） (2022-03-28T07:37:17Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
  自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。 我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。 また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-01-20T13:59:25Z)
• Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
  現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。 その微分可能性を利用してモデルをより効果的に活用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-16T19:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。