論文の概要: One Loop, Two Gains: Can Active Learning win the Lottery for Free?

• arxiv url: http://arxiv.org/abs/2609.10311v1
• Date: Wed, 09 Sep 2026 15:18:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:09.079447
• Title: One Loop, Two Gains: Can Active Learning win the Lottery for Free?
• Title（参考訳）: One Loop, Two Gains: アクティブラーニングは無償で勝てるか?
• Abstract要約: I&Pは、各アクティブラーニング再学習サイクルに、実質的に追加のコストを伴わずに、マグニチュードプルーニングを組み込むことができることを示す。 我々の結果は、各アクティブな学習イテレーションにおいて、I&Pがスパースでデプロイ可能なモデルを生成することを示す。 単位単位のスパースモデルは、ラウンド単位のモデル再トレーニングと、ラベルなしプール上での獲得スコアの2つの計算ボトルネックに対処することができる。
• 参考スコア（独自算出の注目度）: 2.181071341517602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The lottery ticket hypothesis posits the existence of winning tickets: sparse subnetworks that, when trained in isolation from their original initialization, match the accuracy of the full dense network. The predominant method for discovering such tickets, iterative magnitude pruning, alternates pruning with full retraining from scratch until convergence over many cycles. Similarly, deep active learning also retrains a model from scratch after each acquisition round as new labels become available. Despite this shared reliance on iterative retraining with a substantial computational overhead, the two paradigms have been studied separately. We observe that the iterative training loop inherent to pool-based active learning already provides the exact computational structure that iterative magnitude pruning exploits, and propose Improve & Prune (I&P), a method that integrates magnitude pruning into each active learning retraining cycle at practically no additional cost. This raises a key empirical question: can iterative magnitude pruning produce winning tickets under the non-stationary data regime of active learning? We investigate this question across multiple acquisition functions, architecture families, and image classification datasets, including an active fine-tuning scenario. Our results demonstrate that I&P yields sparse, deployable models at each active learning iteration. Those match the accuracy of their dense counterparts at sparsities up to 95%, effectively obtaining winning tickets as a byproduct of the active learning pipeline. These per-iteration sparse models can address two computational bottlenecks - per-round model retraining and acquisition scoring over the unlabeled pool - that currently prevent the practical adoption of DAL on large architectures and large unlabeled pools.
• Abstract（参考訳）: 抽選券仮説は、入賞券の存在を示唆している: スパースサブネットワークは、当初の初期化から独立して訓練されたときに、完全な高密度ネットワークの精度と一致する。 このようなチケットを発見する主要な方法は、反復的な等級のプルーニングであり、スクラッチから多くのサイクルで収束するまで、フルリトレーニングでプルーニングを交互に行う。 同様に、ディープアクティブラーニングは、新しいラベルが利用可能になると、各獲得ラウンドの後にモデルをゼロからトレーニングする。 計算オーバーヘッドがかなり大きい反復的再訓練に依存しているにもかかわらず、この2つのパラダイムは別々に研究されている。 我々は、プールベースアクティブラーニングに固有の反復学習ループが、繰り返し等級プルーニングが生み出す正確な計算構造を既に提供していることを観察し、各アクティブラーニングリトレーニングサイクルに実質的に追加コストを伴わずに大等級プルーニングを統合する手法である Improve & Prune (I&P) を提案する。 これは重要な経験的疑問を提起する: 反復的な等級のプルーニングは、アクティブラーニングの非定常データ体制の下で勝利チケットを生成することができるか? 本稿では,複数の取得関数,アーキテクチャファミリ,画像分類データセットにまたがるこの問題を,アクティブな微調整シナリオを含む調査する。 我々の結果は、各アクティブな学習イテレーションにおいて、I&Pがスパースでデプロイ可能なモデルを生成することを示す。 それらは、密度の高い相手の精度を95%まで高め、アクティブな学習パイプラインの副産物として、効果的に勝利のチケットを得る。 これらのイテレーションごとのスパースモデルは、2つの計算ボトルネック - ラウンド単位のモデル再トレーニングと未ラベルプールでの獲得スコア - に対処することが可能で、現在、大規模アーキテクチャや大規模未ラベルプールにおけるDALの実践的採用を妨げている。

関連論文リスト

• Playing the Lottery With Concave Regularizers for Sparse Trainable Neural Networks [10.48836159692231]
  我々は宝くじを弾くための新しい方法のクラスを提案する。 鍵となる点は、緩和された二元マスクの空間性を促進するために凹凸正則化を使うことである。 提案手法は,最先端のアルゴリズムの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-01-19T18:05:13Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• BatchGFN: Generative Flow Networks for Batch Active Learning [80.73649229919454]
  BatchGFNは、生成フローネットワークを使用してバッチ報酬に比例したデータポイントのセットをサンプリングする、プールベースのアクティブラーニングのための新しいアプローチである。 提案手法は,おもちゃの回帰問題において,1点当たり1回の前方通過で推定時間に近距離最適効用バッチをサンプリングすることを可能にした。
  論文  参考訳（メタデータ） (2023-06-26T20:41:36Z)
• Instant Soup: Cheap Pruning Ensembles in A Single Pass Can Draw Lottery Tickets from Large Models [106.19385911520652]
  Lottery Ticket hypothesis (LTH)とその変種は、パラメーターワークを生成する大規模な事前訓練モデルを作成するために利用されてきた。 LTHは反復的フルトレーニングと反復的マグニチュードプルーニング(IMP)のプルーニングルーチンによって著しく抑制される Instant Soup Pruning (ISP) を提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:09:52Z)
• LOFT: Finding Lottery Tickets through Filter-wise Training [15.06694204377327]
  本稿では,このようなチケットの出現を効果的に識別し,この観測結果を用いて,効率的な事前学習アルゴリズムの設計を行う方法を示す。 We present the emphLOttery ticket through filter-wise Training algorithm, called textscLoFT。 textscLoFT $i)$は保存され、良い宝くじを見つける。
  論文  参考訳（メタデータ） (2022-10-28T14:43:42Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Accelerating Deep Learning with Dynamic Data Pruning [0.0]
  ディープラーニングは、最先端のネットワークをトレーニングするために強力なコンピューティングシステムへのアクセスを必要とするため、違法にコストがかかるようになった。 forget scoresやGraNd/EL2N scoresといった以前の作業では、完全なデータセット内の重要なサンプルを特定し、残りのサンプルを刈り取ることで、エポック毎のイテレーションを減らすことができる。 本稿では,強化学習手法に基づく2つのアルゴリズムを提案し,ランダムな動的手法よりも高い精度でサンプルを動的にプーンする。
  論文  参考訳（メタデータ） (2021-11-24T16:47:34Z)
• FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
  我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。 本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
  論文  参考訳（メタデータ） (2021-06-28T10:48:20Z)
• The Elastic Lottery Ticket Hypothesis [106.79387235014379]
  Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。 そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。 我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:53:45Z)
• Lottery Ticket Implies Accuracy Degradation, Is It a Desirable Phenomenon? [43.47794674403988]
  ディープモデル圧縮では、最近の発見 "Lottery Ticket Hypothesis" (LTH) (Frankle & Carbin) は、勝利チケットが存在する可能性があることを指摘しました。 勝利特性の背後にある基礎的条件と理論的根拠を調査し,その基礎的理由が重みと最終訓練重みの相関関係に大きく関係していることを見いだした。 宝くじのスパーストレーニングを一貫して上回る"pruning & fine-tuning"方式を提案します。
  論文  参考訳（メタデータ） (2021-02-19T14:49:46Z)
• Good Students Play Big Lottery Better [84.6111281091602]
  宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。 近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。 本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-08T23:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。