論文の概要: Estimating Environmental Cost Throughout Model's Adaptive Life Cycle

• arxiv url: http://arxiv.org/abs/2408.01446v1
• Date: Tue, 23 Jul 2024 03:58:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 04:59:02.238651
• Title: Estimating Environmental Cost Throughout Model's Adaptive Life Cycle
• Title（参考訳）: モデルによる適応ライフサイクルにおける環境コストの推定
• Authors: Vishwesh Sangarya, Richard Bradford, Jung-Eun Kim,
• Abstract要約: PreIndexは、データの分散シフトに伴うモデル再トレーニングに関連する環境および計算資源を推定する予測指標である。 これは、現在のデータ分布から新しいデータ分布への再トレーニングにおいて、二酸化炭素排出量やエネルギー使用量などの環境コストを見積もることができる。
• 参考スコア（独自算出の注目度）: 2.93774265594295
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: With the rapid increase in the research, development, and application of neural networks in the current era, there is a proportional increase in the energy needed to train and use models. Crucially, this is accompanied by the increase in carbon emissions into the environment. A sustainable and socially beneficial approach to reducing the carbon footprint and rising energy demands associated with the modern age of AI/deep learning is the adaptive and continuous reuse of models with regard to changes in the environment of model deployment or variations/changes in the input data. In this paper, we propose PreIndex, a predictive index to estimate the environmental and compute resources associated with model retraining to distributional shifts in data. PreIndex can be used to estimate environmental costs such as carbon emissions and energy usage when retraining from current data distribution to new data distribution. It also correlates with and can be used to estimate other resource indicators associated with deep learning, such as epochs, gradient norm, and magnitude of model parameter change. PreIndex requires only one forward pass of the data, following which it provides a single concise value to estimate resources associated with retraining to the new distribution shifted data. We show that PreIndex can be reliably used across various datasets, model architectures, different types, and intensities of distribution shifts. Thus, PreIndex enables users to make informed decisions for retraining to different distribution shifts and determine the most cost-effective and sustainable option, allowing for the reuse of a model with a much smaller footprint in the environment. The code for this work is available here: https://github.com/JEKimLab/AIES2024PreIndex
• Abstract（参考訳）: 現代のニューラルネットワークの研究、開発、応用の急速な増加に伴い、モデルの訓練と使用に必要なエネルギーは比例的に増加する。 重要なことに、環境への二酸化炭素の排出の増加が伴う。 AI/深層学習の現代に伴う炭素フットプリントの削減とエネルギー需要の増大に対する持続的で社会的に有益なアプローチは、モデル展開の環境の変化や入力データの変化に対するモデルの適応的かつ継続的な再利用である。 本稿では,データの分散シフトに伴うモデル再学習に伴う環境・計算資源を推定する予測指標であるPreIndexを提案する。 PreIndexは、現在のデータ分布から新しいデータ分布への再トレーニングにおいて、二酸化炭素排出量やエネルギー使用量などの環境コストを見積もることができる。 また、深層学習に関連する他のリソース指標(例えばエポックス、勾配ノルム、モデルパラメータの変化の大きさなど)と相関し、推定することができる。 PreIndexはデータのフォワードパスを1つだけ必要としており、次に新しい分散シフトデータの再トレーニングに関連するリソースを推定するために、単一の簡潔な値を提供する。 PreIndexは、さまざまなデータセット、モデルアーキテクチャ、異なる型、分散シフトの強度で確実に使用できることを示す。 このため、PreIndexは、異なる分散シフトに再トレーニングするための情報的な決定を可能にし、最もコスト効率が高く持続可能なオプションを決定できるため、環境のフットプリントがはるかに小さいモデルの再利用が可能になる。 https://github.com/JEKimLab/AIES2024PreIndex

関連論文リスト

• ssProp: Energy-Efficient Training for Convolutional Neural Networks with Scheduled Sparse Back Propagation [4.77407121905745]
  バックプロパゲーション(BP)は、ディープラーニングモデルをトレーニングする際の計算コストの主要な源泉である。 ディープラーニングアーキテクチャにシームレスに統合できる汎用的でエネルギー効率の良い畳み込みモジュールを提案する。
  論文  参考訳（メタデータ） (2024-08-22T17:22:59Z)
• Graph Representation Learning via Causal Diffusion for Out-of-Distribution Recommendation [8.826417093212099]
  グラフニューラルネットワーク(GNN)ベースのレコメンデーションアルゴリズムは、トレーニングとテストデータは独立して同じ分散空間から引き出されると仮定する。 この仮定は、アウト・オブ・ディストリビューション(OOD)データの存在でしばしば失敗し、パフォーマンスが大幅に低下する。 OODレコメンデーションのための因果拡散によるグラフ表現学習(CausalDiffRec)を提案する。
  論文  参考訳（メタデータ） (2024-08-01T11:51:52Z)
• Aggregate Representation Measure for Predictive Model Reusability [2.93774265594295]
  分散シフトにおけるトレーニングモデルの再学習コストを推定する予測量化器を提案する。 ARM(Aggregated Representation Measure)は、古いデータから新しいデータへのモデル表現の変化を定量化する手法である。
  論文  参考訳（メタデータ） (2024-05-15T14:14:34Z)
• Energy-Based Test Sample Adaptation for Domain Generalization [81.04943285281072]
  そこで本研究では,ドメインの試験時間におけるエネルギーに基づくサンプル適応を提案する。 対象試料をソース分布に適応させるため,エネルギー最小化により反復的に試料を更新する。 画像とマイクロブログスレッドの分類のための6つのベンチマーク実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-02-22T08:55:09Z)
• Conditioned Human Trajectory Prediction using Iterative Attention Blocks [70.36888514074022]
  本研究では,都市環境における歩行者位置予測を目的とした,簡易かつ効果的な歩行者軌道予測モデルを提案する。 我々のモデルは、複数のアテンションブロックとトランスフォーマーを反復的に実行できるニューラルネットワークアーキテクチャである。 ソーシャルマスク, 動的モデル, ソーシャルプーリング層, 複雑なグラフのような構造を明示的に導入することなく, SoTAモデルと同等の結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T07:49:48Z)
• DDG-DA: Data Distribution Generation for Predictable Concept Drift Adaptation [34.03849669133438]
  本稿では,データ分散の進化を効果的に予測できるDDG-DAを提案する。 具体的には、まず予測器を訓練して将来のデータ分布を推定し、次にそれを利用してトレーニングサンプルを生成し、最後に生成されたデータ上でモデルをトレーニングする。
  論文  参考訳（メタデータ） (2022-01-11T16:34:29Z)
• Model retraining and information sharing in a supply chain with long-term fluctuating demands [0.0]
  本研究では,サプライチェーンにおけるモデル更新の効果を最小限の設定を用いて検討した。 我々は,サプライチェーンの各パーティが独自の予測モデルを持っている場合,非コーディネートモデルの再トレーニングがブルウィップ効果を引き起こすことを示した。 また, 関係者間で予測モデルを共有することで, ブルウィップ効果が著しく低下することが示唆された。
  論文  参考訳（メタデータ） (2021-09-04T04:16:04Z)
• Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future [73.03458424369657]
  公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。 過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。 我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
  論文  参考訳（メタデータ） (2021-06-08T14:48:20Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。