論文の概要: Pathway-based Progressive Inference (PaPI) for Energy-Efficient Continual Learning
- arxiv url: http://arxiv.org/abs/2506.17848v1
- Date: Sat, 21 Jun 2025 22:50:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-24 19:06:36.615578
- Title: Pathway-based Progressive Inference (PaPI) for Energy-Efficient Continual Learning
- Title（参考訳）: エネルギー効率のよい連続学習のための経路ベースプログレッシブ推論(PaPI)
- Authors: Suyash Gaurav, Jukka Heikkonen, Jatin Chaudhary,
- Abstract要約: 継続的な学習システムは、エネルギー効率を維持しながら破滅的な忘れ込みを防ぐという2つの課題に直面している。
本稿では,これらの課題に対処する理論的枠組みであるPathway-based Progressive Inference (PaPI)を紹介する。
理論解析の結果,PaPIは安定性と塑性のトレードオフにおいて$mathcalO(K)$の改善を達成している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning systems face the dual challenge of preventing catastrophic forgetting while maintaining energy efficiency, particularly in resource-constrained environments. This paper introduces Pathway-based Progressive Inference (PaPI), a novel theoretical framework that addresses these challenges through a mathematically rigorous approach to pathway selection and adaptation. We formulate continual learning as an energy-constrained optimization problem and provide formal convergence guarantees for our pathway routing mechanisms. Our theoretical analysis demonstrates that PaPI achieves an $\mathcal{O}(K)$ improvement in the stability-plasticity trade-off compared to monolithic architectures, where $K$ is the number of pathways. We derive tight bounds on forgetting rates using Fisher Information Matrix analysis and prove that PaPI's energy consumption scales with the number of active parameters rather than the total model size. Comparative theoretical analysis shows that PaPI provides stronger guarantees against catastrophic forgetting than Elastic Weight Consolidation (EWC) while maintaining better energy efficiency than both EWC and Gradient Episodic Memory (GEM). Our experimental validation confirms these theoretical advantages across multiple benchmarks, demonstrating PaPI's effectiveness for continual learning in energy-constrained settings. Our codes are available at https://github.com/zser092/PAPI_FILES.
- Abstract（参考訳）: 継続的な学習システムは、特に資源制約のある環境において、エネルギー効率を維持しながら破滅的な忘れを防止するという2つの課題に直面している。
本稿では,経路選択と適応に対する数学的に厳密なアプローチを通じて,これらの課題に対処する新しい理論的枠組みであるパスウェイに基づく進行推論(PaPI)を紹介する。
我々は、エネルギー制約付き最適化問題として連続学習を定式化し、経路ルーティング機構に対して公式収束保証を提供する。
理論解析により,PaPIはモノリシックアーキテクチャと比較して安定性と塑性のトレードオフを$\mathcal{O}(K)$で改善し,そこでは$K$が経路数であることを示す。
魚情報マトリックス分析を用いて, エネルギー消費が, 総モデルサイズではなく, アクティブパラメータの数に比例してスケールすることを示す。
比較理論解析により、PaPIは、EWC(Elastic Weight Consolidation)とGEM(Gradient Episodic Memory)のどちらよりも優れたエネルギー効率を維持しつつ、破滅的な忘れ方に対する強い保証を提供することが示された。
実験により、これらの理論上の利点を複数のベンチマークで検証し、エネルギー制約条件下での連続学習の有効性を実証した。
私たちのコードはhttps://github.com/zser092/PAPI_FILESで利用可能です。
関連論文リスト
- Tu(r)ning AI Green: Exploring Energy Efficiency Cascading with Orthogonal Optimizations [2.829284162137884]
本稿では, エネルギー効率を第一級市民として, 計算集約パイプラインの基本設計として扱うことを強調する。
5つのAIパイプラインフェーズ(データ、モデル、トレーニング、システム、推論)の戦略的選択によって、カスケード効率が向上することを示す。
組み合わせによってエネルギー消費は94.6ドル%まで減少し、最適化されていないパイプラインの元々のF1スコアの95.95ドル%を維持できる。
論文 参考訳（メタデータ） (2025-06-23T04:52:08Z) - Energy Considerations of Large Language Model Inference and Efficiency Optimizations [28.55549828393871]
大規模言語モデル(LLM)の規模と採用が拡大するにつれて、その計算と環境コストは上昇し続けている。
多様なNLPおよびAIワークロードにまたがる共通推論効率最適化のエネルギー含意を系統的に分析する。
本研究により, 推定効率最適化の適切な適用により, 最適化されていないベースラインから最大73%のエネルギー使用量を削減できることが判明した。
論文 参考訳（メタデータ） (2025-04-24T15:45:05Z) - Federated Learning With Energy Harvesting Devices: An MDP Framework [17.87295300394514]
フェデレートラーニング(FL)は、エッジデバイスがローカルなトレーニングを行い、パラメータサーバと通信することを要求する。
実用FLシステムにおける重要な課題は、バッテリ寿命を制限し、学習性能に影響を及ぼす、バッテリ制限のエッジデバイスが急速に枯渇することである。
FLシステムにエネルギー回収技術を導入し、環境エネルギーを捕捉し、エッジデバイスに連続的な電力を供給する。
論文 参考訳（メタデータ） (2024-05-17T03:41:40Z) - c-TPE: Tree-structured Parzen Estimator with Inequality Constraints for
Expensive Hyperparameter Optimization [45.67326752241075]
本稿では,この制約に対処するための制約付きTPE (c-TPE) を提案する。
提案するエクステンションは,既存の取得関数とオリジナルのTPEの単純な組み合わせに留まらず,パフォーマンスの低下の原因となる問題に対処する修正も含んでいる。
実験では,C-TPEは,不等式制約のある81のHPOに対して,統計的に有意な既存の手法の中で,最高の平均ランク性能を示すことを示した。
論文 参考訳（メタデータ） (2022-11-26T00:25:11Z) - Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文 参考訳（メタデータ） (2022-11-14T08:51:04Z) - Generalized Parametric Contrastive Learning [60.62901294843829]
一般化パラメトリックコントラスト学習(GPaCo/PaCo)は、不均衡データとバランスデータの両方でうまく機能する。
長い尾のベンチマークの実験は、長い尾の認識のための新しい最先端を示す。
論文 参考訳（メタデータ） (2022-09-26T03:49:28Z) - A Theoretical Framework for Target Propagation [75.52598682467817]
我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。
提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。
我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
論文 参考訳（メタデータ） (2020-06-25T12:07:06Z) - Targeted free energy estimation via learned mappings [66.20146549150475]
自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。
FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。
目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
論文 参考訳（メタデータ） (2020-02-12T11:10:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。