論文の概要: Active Learning Using Aggregated Acquisition Functions: Accuracy and Sustainability Analysis
- arxiv url: http://arxiv.org/abs/2602.07440v1
- Date: Sat, 07 Feb 2026 08:42:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-10 20:26:24.62278
- Title: Active Learning Using Aggregated Acquisition Functions: Accuracy and Sustainability Analysis
- Title(参考訳): 集約獲得関数を用いたアクティブラーニング:精度と持続可能性分析
- Authors: Cédric Jung, Shirin Salehi, Anke Schmeink,
- Abstract要約: Active Learning(AL)は、トレーニング中のアノテーションの最も情報性の高いサンプルを戦略的に選択する機械学習アプローチである。
この戦略はラベリングコストを削減するだけでなく、ニューラルネットワークトレーニング時の省エネにも寄与する。
我々は、その精度と計算コストを分析して、最先端の取得機能を実装し、評価する。
- 参考スコア(独自算出の注目度): 14.398823059302279
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Active learning (AL) is a machine learning (ML) approach that strategically selects the most informative samples for annotation during training, aiming to minimize annotation costs. This strategy not only reduces labeling expenses but also results in energy savings during neural network training, thereby enhancing both data and energy efficiency. In this paper, we implement and evaluate various state-of-the-art acquisition functions, analyzing their accuracy and computational costs, while discussing the advantages and disadvantages of each method. Our findings reveal that representativity-based acquisition functions effectively explore the dataset but do not prioritize boundary decisions, whereas uncertainty-based acquisition functions focus on refining boundary decisions already identified by the neural network. This trade-off is known as the exploration-exploitation dilemma. To address this dilemma, we introduce six aggregation structures: series, parallel, hybrid, adaptive feedback, random exploration, and annealing exploration. Our aggregated acquisition functions alleviate common AL pathologies such as batch mode inefficiency and the cold start problem. Additionally, we focus on balancing accuracy and energy consumption, contributing to the development of more sustainable, energy-aware artificial intelligence (AI). We evaluate our proposed structures on various models and datasets. Our results demonstrate the potential of these structures to reduce computational costs while maintaining or even improving accuracy. Innovative aggregation approaches, such as alternating between acquisition functions such as BALD and BADGE, have shown robust results. Sequentially running functions like $K$-Centers followed by BALD has achieved the same performance goals with up to 12\% fewer samples, while reducing the acquisition cost by almost half.
- Abstract(参考訳): Active Learning(AL)は、トレーニング中のアノテーションの最も情報性の高いサンプルを戦略的に選択する機械学習(ML)アプローチである。
この戦略はラベル作成コストを削減するだけでなく、ニューラルネットワークトレーニング中の省エネも実現し、データとエネルギー効率の両面で向上する。
本稿では,各手法の利点と欠点を議論しながら,その精度と計算コストを分析して,最先端の取得機能の実装と評価を行う。
その結果,表現性に基づく獲得関数はデータセットを効果的に探索するが境界決定を優先しないのに対し,不確実性に基づく獲得関数はニューラルネットワークがすでに認識している境界決定の精査に重点を置いていることがわかった。
このトレードオフは探索探索ジレンマとして知られている。
このジレンマに対処するために、直列、並列、ハイブリッド、適応フィードバック、ランダム探索、アニーリング探索の6つの集約構造を導入する。
集約取得関数は,バッチモードの非効率性やコールドスタート問題などの共通ALの病態を緩和する。
さらに、我々は精度とエネルギー消費のバランスに重点を置いており、より持続可能なエネルギー対応人工知能(AI)の開発に寄与している。
提案する構造を,様々なモデルとデータセットを用いて評価する。
以上の結果から,これらの構造が精度を維持・改善しつつ計算コストを削減できる可能性が示唆された。
BALD や BADGE のような獲得関数の交互化のような革新的集約アプローチは、堅牢な結果を示している。
BALDが続く$K$-Centersのようなシーケンシャルに動作する関数は、最大12.5%のサンプルで同じパフォーマンス目標を達成すると同時に、取得コストをほぼ半分に削減している。
関連論文リスト
- DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [86.76714527437383]
本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。
我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。
LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2025-02-18T02:37:26Z) - Cost-Aware Query Policies in Active Learning for Efficient Autonomous Robotic Exploration [0.0]
本稿では,動作コストを考慮しつつ,ガウス過程回帰のためのALアルゴリズムを解析する。
距離制約を持つ伝統的な不確実性計量は、軌道距離上のルート平均二乗誤差を最小化する。
論文 参考訳(メタデータ) (2024-10-31T18:35:03Z) - Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。
提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
論文 参考訳(メタデータ) (2024-05-07T17:44:54Z) - Compute-Efficient Active Learning [0.0]
アクティブラーニングは、ラベルなしデータセットから最も有益なサンプルを選択することでラベリングコストを削減することを目的としている。
従来のアクティブな学習プロセスは、拡張性と効率を阻害する広範な計算資源を必要とすることが多い。
本稿では,大規模データセット上での能動的学習に伴う計算負担を軽減するための新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-15T12:32:07Z) - Evaluation of Active Feature Acquisition Methods for Time-varying Feature Settings [6.082810456767599]
機械学習の手法は、入力機能が無償で利用できると仮定することが多い。
機能性の獲得が有害な分野である医療のような領域では、機能の獲得と予測的肯定性とのバランスをとる必要がある。
能動的特徴獲得性能評価(AFAPE)の問題点について述べる。
論文 参考訳(メタデータ) (2023-12-03T23:08:29Z) - Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳(メタデータ) (2023-09-11T14:16:37Z) - On Reward-Free RL with Kernel and Neural Function Approximations:
Single-Agent MDP and Markov Game [140.19656665344917]
エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。
関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。
我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
論文 参考訳(メタデータ) (2021-10-19T07:26:33Z) - Cost-Effective Federated Learning in Mobile Edge Networks [37.16466118235272]
フェデレートラーニング(FL)は、多くのモバイルデバイスが生データを共有せずに協調的にモデルを学習できる分散ラーニングパラダイムである。
本研究は,モバイルエッジネットワークにおける適応FLの設計手法を解析し,本質的な制御変数を最適に選択し,総コストを最小化する。
我々は,収束関連未知パラメータを学習するために,低コストなサンプリングベースアルゴリズムを開発した。
論文 参考訳(メタデータ) (2021-09-12T03:02:24Z) - Cost-Effective Federated Learning Design [37.16466118235272]
フェデレーション学習(federated learning, fl)は、多数のデバイスが生のデータを共有することなく、協調的にモデルを学習できる分散学習パラダイムである。
その効率性と有効性にもかかわらず、反復的なオンデバイス学習プロセスは、学習時間とエネルギー消費の面でかなりのコストを伴います。
本稿では,本質的制御変数を最適に選択する適応型flの設計法を分析し,総コストを最小化し,収束性を確保した。
論文 参考訳(メタデータ) (2020-12-15T14:45:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。