論文の概要: Feature Alignment: Rethinking Efficient Active Learning via Proxy in the Context of Pre-trained Models

• arxiv url: http://arxiv.org/abs/2403.01101v2
• Date: Sat, 16 Nov 2024 06:45:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:30:41.708791
• Title: Feature Alignment: Rethinking Efficient Active Learning via Proxy in the Context of Pre-trained Models
• Title（参考訳）: 特徴アライメント:事前学習モデルにおけるプロキシによる効率的な能動学習の再考
• Authors: Ziting Wen, Oscar Pizarro, Stefan Williams,
• Abstract要約: トレーニング済みモデルをアクティブな学習で微調整することは、アノテーションコストの削減を約束する。 近年,プロキシに基づく能動学習が提案されている。 このアプローチは、しばしばアクティブな学習性能に大きな損失をもたらし、時には計算コストの削減を上回ります。 本研究では,選択の相違による能動的学習能力の低下を緩和する適切な学習方法を示す。
• 参考スコア（独自算出の注目度）: 4.713652957384158
• License:
• Abstract: Fine-tuning the pre-trained model with active learning holds promise for reducing annotation costs. However, this combination introduces significant computational costs, particularly with the growing scale of pre-trained models. Recent research has proposed proxy-based active learning, which pre-computes features to reduce computational costs. Yet, this approach often incurs a significant loss in active learning performance, sometimes outweighing the computational cost savings. This paper demonstrates that not all sample selection differences result in performance degradation. Furthermore, we show that suitable training methods can mitigate the decline of active learning performance caused by certain selection discrepancies. Building upon detailed analysis, we propose a novel method, aligned selection via proxy, which improves proxy-based active learning performance by updating pre-computed features and selecting a proper training method. Extensive experiments validate that our method improves the total cost of efficient active learning while maintaining computational efficiency. The code is available at \url{https://github.com/ZiTingW/asvp}.
• Abstract（参考訳）: トレーニング済みモデルをアクティブな学習で微調整することは、アノテーションコストの削減を約束する。 しかし、この組み合わせは、特に事前訓練されたモデルの規模が大きくなるにつれて、かなりの計算コストをもたらす。 近年,プロキシに基づく能動学習が提案されている。 しかし、このアプローチはしばしばアクティブな学習性能を著しく低下させ、時には計算コストの削減を上回ります。 本稿では,全ての試料選択の違いが性能劣化をもたらすわけではないことを示す。 さらに,特定の選択の相違による能動的学習性能の低下を緩和する適切な学習方法を示す。 提案手法は,事前計算した特徴を更新し,適切な学習方法を選択することにより,プロキシによる協調的選択により,プロキシベースの能動的学習性能を向上させる。 本手法は,計算効率を保ちながら,効率的な能動学習の総コストを向上することを示した。 コードは \url{https://github.com/ZiTingW/asvp} で公開されている。

関連論文リスト

• Neural Active Learning Beyond Bandits [69.99592173038903]
  ストリームベースとプールベースの両方のアクティブラーニングをニューラルネットワーク近似を用いて検討する。 ストリームベースおよびプールベースアクティブラーニングのためのニューラルネットワークを新たに設計したエクスプロイトと探索に基づく2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-18T21:52:14Z)
• Compute-Efficient Active Learning [0.0]
  アクティブラーニングは、ラベルなしデータセットから最も有益なサンプルを選択することでラベリングコストを削減することを目的としている。 従来のアクティブな学習プロセスは、拡張性と効率を阻害する広範な計算資源を必要とすることが多い。 本稿では,大規模データセット上での能動的学習に伴う計算負担を軽減するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T12:32:07Z)
• Learning to Rank for Active Learning via Multi-Task Bilevel Optimization [29.207101107965563]
  データ取得のための学習代理モデルを用いて、ラベルのないインスタンスのバッチを選択することを目的とした、アクティブな学習のための新しいアプローチを提案する。 このアプローチにおける重要な課題は、ユーティリティ関数の入力の一部を構成するデータの歴史が時間とともに増大するにつれて、よく一般化する取得関数を開発することである。
  論文  参考訳（メタデータ） (2023-10-25T22:50:09Z)
• Towards Compute-Optimal Transfer Learning [82.88829463290041]
  我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。 その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-25T21:49:09Z)
• Batch Active Learning from the Perspective of Sparse Approximation [12.51958241746014]
  アクティブな学習は、機械学習エージェントと人間のアノテーションとのインタラクションを活用することで、効率的なモデルトレーニングを可能にする。 スパース近似の観点からバッチアクティブラーニングを定式化する新しいフレームワークを提案し,提案する。 我々のアクティブラーニング手法は、ラベルのないデータプールから、対応するトレーニング損失関数が、そのフルデータプールに近似するように、情報的サブセットを見つけることを目的としている。
  論文  参考訳（メタデータ） (2022-11-01T03:20:28Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
  自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。 我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。 また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-01-20T13:59:25Z)
• Semi-supervised Batch Active Learning via Bilevel Optimization [89.37476066973336]
  両レベル最適化によるデータ要約問題として,本手法を定式化する。 本手法は,ラベル付きサンプルがほとんど存在しない場合,レジーム内のキーワード検出タスクにおいて極めて有効であることを示す。
  論文  参考訳（メタデータ） (2020-10-19T16:53:24Z)
• Active Learning for Gaussian Process Considering Uncertainties with Application to Shape Control of Composite Fuselage [7.358477502214471]
  ガウス過程に不確実性のある2つの新しい能動学習アルゴリズムを提案する。 提案手法は不確実性の影響を取り入れ,予測性能の向上を実現する。 本手法は, 複合胴体の自動形状制御における予測モデルの改善に応用されている。
  論文  参考訳（メタデータ） (2020-04-23T02:04:53Z)
• Confident Coreset for Active Learning in Medical Image Analysis [57.436224561482966]
  本稿では,情報的サンプルを効果的に選択するための,不確実性と分散性を考慮した新しい能動的学習手法である信頼コアセットを提案する。 2つの医用画像解析タスクの比較実験により,本手法が他の活動的学習方法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-05T13:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。