論文の概要: How green is continual learning, really? Analyzing the energy consumption in continual training of vision foundation models

• arxiv url: http://arxiv.org/abs/2409.18664v1
• Date: Fri, 27 Sep 2024 11:50:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-01 18:11:57.462250
• Title: How green is continual learning, really? Analyzing the energy consumption in continual training of vision foundation models
• Title（参考訳）: 連続学習はどこまでグリーンか? : 視覚基礎モデルの連続訓練におけるエネルギー消費の分析
• Authors: Tomaso Trinci, Simone Magistri, Roberto Verdecchia, Andrew D. Bagdanov,
• Abstract要約: 本研究では,連続学習アルゴリズムのエネルギー効率を体系的に理解することを目的とする。 CIFAR-100, ImageNet-R, DomainNetの3つの標準データセットで実験を行った。 本稿では,エネルギー・正確性トレードオフの観点からアルゴリズムの効率を計測する新しい指標であるEnergy NetScoreを提案する。
• 参考スコア（独自算出の注目度）: 10.192658261639549
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the ever-growing adoption of AI, its impact on the environment is no longer negligible. Despite the potential that continual learning could have towards Green AI, its environmental sustainability remains relatively uncharted. In this work we aim to gain a systematic understanding of the energy efficiency of continual learning algorithms. To that end, we conducted an extensive set of empirical experiments comparing the energy consumption of recent representation-, prompt-, and exemplar-based continual learning algorithms and two standard baseline (fine tuning and joint training) when used to continually adapt a pre-trained ViT-B/16 foundation model. We performed our experiments on three standard datasets: CIFAR-100, ImageNet-R, and DomainNet. Additionally, we propose a novel metric, the Energy NetScore, which we use measure the algorithm efficiency in terms of energy-accuracy trade-off. Through numerous evaluations varying the number and size of the incremental learning steps, our experiments demonstrate that different types of continual learning algorithms have very different impacts on energy consumption during both training and inference. Although often overlooked in the continual learning literature, we found that the energy consumed during the inference phase is crucial for evaluating the environmental sustainability of continual learning models.
• Abstract（参考訳）: AIの採用が絶え間なく進んでいるため、環境への影響はもはや無視できない。 継続的な学習がグリーンAIにもたらす可能性にもかかわらず、環境の持続性は比較的低いままである。 本研究では,連続学習アルゴリズムのエネルギー効率を体系的に理解することを目的とする。 そこで我々は,近年の表現型,プロンプト型,即時型および模範型連続学習アルゴリズムのエネルギー消費と,トレーニング済みのViT-B/16ファンデーションモデルに継続的に適応するための2つの標準ベースライン(微調整とジョイントトレーニング)を比較検討した。 CIFAR-100、ImageNet-R、DomainNetの3つの標準データセットで実験を行った。 さらに,エネルギー・精度トレードオフの観点からアルゴリズムの効率を計測する新しい指標であるEnergy NetScoreを提案する。 インクリメンタル学習のステップの数とサイズを多種に分けて評価した結果、連続学習アルゴリズムの種類は、トレーニングと推論の両方において、エネルギー消費に大きく異なる影響があることが実証された。 連続学習の文献ではしばしば見過ごされがちだが, 推論段階で消費されるエネルギーは, 連続学習モデルの環境持続可能性を評価する上で重要であることがわかった。

関連論文リスト

• Double-Exponential Increases in Inference Energy: The Cost of the Race for Accuracy [3.6731536660959985]
  コンピュータビジョンにおけるディープラーニングモデルは、エネルギー消費と持続可能性に対する懸念を増大させる。 1200画像ネット分類モデルの推定エネルギー消費の包括的分析を行う。 我々は、エネルギー消費に寄与する重要な要因を特定し、エネルギー効率を向上させる方法を示す。
  論文  参考訳（メタデータ） (2024-12-12T21:44:08Z)
• Watt For What: Rethinking Deep Learning's Energy-Performance Relationship [13.505163099299025]
  深層学習モデルのモデル精度と消費電力のトレードオフについて検討する。 使用電力単位当たりの精度を評価することにより、より小型でエネルギー効率の高いモデルが研究を著しく高速化できることを示す。 この研究は、より公平な研究環境に寄与し、より小さなエンティティはより大きなエンティティと効果的に競合できる。
  論文  参考訳（メタデータ） (2023-10-10T11:08:31Z)
• A Comparative Study of Machine Learning Algorithms for Anomaly Detection in Industrial Environments: Performance and Environmental Impact [62.997667081978825]
  本研究は,環境の持続可能性を考慮した高性能機械学習モデルの要求に応えることを目的としている。 Decision TreesやRandom Forestsといった従来の機械学習アルゴリズムは、堅牢な効率性とパフォーマンスを示している。 しかし, 資源消費の累積増加にもかかわらず, 最適化された構成で優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-07-01T15:18:00Z)
• Uncovering Energy-Efficient Practices in Deep Learning Training: Preliminary Steps Towards Green AI [8.025202812165412]
  我々は、エネルギー消費を精度に等しい重要性の指標とみなし、無関係なタスクやエネルギー使用量を減らす。 持続可能性の観点から深層学習パイプラインの訓練段階について検討する。 ディープラーニングモデルをトレーニングするための革新的で有望なエネルギー効率のプラクティスを強調します。
  論文  参考訳（メタデータ） (2023-03-24T12:48:21Z)
• Energy Efficiency of Training Neural Network Architectures: An Empirical Study [11.325530936177493]
  ディープラーニングモデルの評価は、伝統的に精度、F1スコア、関連する指標などの基準に焦点を当ててきた。 このようなモデルを訓練するために必要な計算は、大きな炭素フットプリントを必要とする。 本研究では, DLモデルアーキテクチャと環境影響との関係を, エネルギー消費の観点から検討した。
  論文  参考訳（メタデータ） (2023-02-02T09:20:54Z)
• NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision Research [96.53307645791179]
  我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。 分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。 NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
  論文  参考訳（メタデータ） (2022-11-15T18:57:46Z)
• An Energy and Carbon Footprint Analysis of Distributed and Federated Learning [42.37180749113699]
  古典的で中央集権的な人工知能(AI)手法では、生産者(センサー、マシン)からエネルギー空腹のデータセンターへデータを移動する必要がある。 このような高エネルギーコストを緩和する新たな代替手段は、デバイス間で学習タスクを効率的に分散またはフェデレートすることを提案している。 本稿では,分散学習におけるエネルギーおよび炭素フットプリントの分析のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-06-21T13:28:49Z)
• Energy-based Latent Aligner for Incremental Learning [83.0135278697976]
  ディープラーニングモデルは、新しいタスクを漸進的に学習しながら、以前の知識を忘れる傾向があります。 この振る舞いは、新しいタスクに最適化されたパラメータ更新が、古いタスクに適したアップデートとうまく一致しない可能性があるため現れます。 ELI: インクリメンタルラーニングのためのエネルギーベースラテントアリグナーを提案する。
  論文  参考訳（メタデータ） (2022-03-28T17:57:25Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)
• Towards the Systematic Reporting of the Energy and Carbon Footprints of Machine Learning [68.37641996188133]
  我々は、リアルタイムエネルギー消費と二酸化炭素排出量を追跡するための枠組みを導入する。 エネルギー効率のよい強化学習アルゴリズムのためのリーダーボードを作成します。 炭素排出量削減とエネルギー消費削減のための戦略を提案する。
  論文  参考訳（メタデータ） (2020-01-31T05:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。