論文の概要: The Energy-Efficient Hierarchical Neural Network with Fast FPGA-Based Incremental Learning

• arxiv url: http://arxiv.org/abs/2509.15097v1
• Date: Thu, 18 Sep 2025 15:54:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.316088
• Title: The Energy-Efficient Hierarchical Neural Network with Fast FPGA-Based Incremental Learning
• Title（参考訳）: FPGAに基づく高速インクリメンタル学習を用いたエネルギー効率の高い階層型ニューラルネットワーク
• Authors: Mohammad Saleh Vahdatpour, Huaiyuan Chu, Yanqing Zhang,
• Abstract要約: 従来の勾配に基づくトレーニング手法は非効率であり、多くの反復的な更新と高消費電力を必要とする。 本稿では,階層分解とFPGAに基づく直接方程式解法と漸進学習を組み合わせたハイブリッドフレームワークを提案する。 提案手法では,ニューラルネットワークを2つの機能層に分割する。低層はFPGA上の単一ステップ方程式により最適化され,効率よく並列化可能な特徴抽出が可能であり,高層は適応的な漸進的学習を用いて,完全リトレーニングなしで連続的な更新をサポートする。
• 参考スコア（独自算出の注目度）: 0.4317207251910848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rising computational and energy demands of deep learning, particularly in large-scale architectures such as foundation models and large language models (LLMs), pose significant challenges to sustainability. Traditional gradient-based training methods are inefficient, requiring numerous iterative updates and high power consumption. To address these limitations, we propose a hybrid framework that combines hierarchical decomposition with FPGA-based direct equation solving and incremental learning. Our method divides the neural network into two functional tiers: lower layers are optimized via single-step equation solving on FPGAs for efficient and parallelizable feature extraction, while higher layers employ adaptive incremental learning to support continual updates without full retraining. Building upon this foundation, we introduce the Compound LLM framework, which explicitly deploys LLM modules across both hierarchy levels. The lower-level LLM handles reusable representation learning with minimal energy overhead, while the upper-level LLM performs adaptive decision-making through energy-aware updates. This integrated design enhances scalability, reduces redundant computation, and aligns with the principles of sustainable AI. Theoretical analysis and architectural insights demonstrate that our method reduces computational costs significantly while preserving high model performance, making it well-suited for edge deployment and real-time adaptation in energy-constrained environments.
• Abstract（参考訳）: 特に基礎モデルや大規模言語モデル(LLM)のような大規模アーキテクチャにおいて、ディープラーニングの計算とエネルギー需要の増大は、持続可能性に重大な課題をもたらす。 従来の勾配に基づくトレーニング手法は非効率であり、多くの反復的な更新と高消費電力を必要とする。 これらの制約に対処するために,階層的分解とFPGAに基づく直接方程式解法と漸進学習を組み合わせたハイブリッドフレームワークを提案する。 提案手法では,ニューラルネットワークを2つの機能層に分割する。低層はFPGA上の単一ステップ方程式により最適化され,効率よく並列化可能な特徴抽出が可能であり,高層は適応的な漸進的学習を用いて,完全リトレーニングなしで連続的な更新をサポートする。 この基盤の上に構築されたCompound LLMフレームワークは、LLMモジュールを両方の階層レベルに明示的にデプロイする。 低レベル LLM は最小エネルギーオーバーヘッドで再利用可能な表現学習を処理し、上位レベル LLM はエネルギー認識更新によって適応的な意思決定を行う。 この統合設計はスケーラビリティを高め、冗長な計算を減らし、持続可能なAIの原則に適合する。 理論的解析とアーキテクチャ的考察により,提案手法は高モデル性能を維持しながら計算コストを大幅に削減し,エネルギー制約環境におけるエッジ展開やリアルタイム適応に適していることが示された。

関連論文リスト

• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [86.76714527437383]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• Explore Activation Sparsity in Recurrent LLMs for Energy-Efficient Neuromorphic Computing [3.379854610429579]
  Recurrent Large Language Models (R-LLM) は自己注意の複雑さを軽減するのに有効であることが証明されている。 ニューロモルフィックハードウェア上でのエネルギー効率を高めるために,R-LLMの活性化をスパースする,低コストでトレーニング不要なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-01-09T19:13:03Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。