論文の概要: IMLP: An Energy-Efficient Continual Learning Method for Tabular Data Streams

• arxiv url: http://arxiv.org/abs/2510.04660v1
• Date: Mon, 06 Oct 2025 10:05:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.798296
• Title: IMLP: An Energy-Efficient Continual Learning Method for Tabular Data Streams
• Title（参考訳）: IMLP: タブラルデータストリームのためのエネルギー効率の良い連続学習手法
• Authors: Yuandou Wang, Filip Gunnarsson, Rihan Hai,
• Abstract要約: データストリームの連続学習のためのコンテキスト対応インクリメンタルマルチ層パーセプトロン(IMLP)を提案する。 IMLPはTabNetより27.6タイム高いエネルギー効率とTabPFNより85.5タイム高いエネルギー効率を実現し、競争平均精度を維持している。
• 参考スコア（独自算出の注目度）: 6.528924888720952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular data streams are rapidly emerging as a dominant modality for real-time decision-making in healthcare, finance, and the Internet of Things (IoT). These applications commonly run on edge and mobile devices, where energy budgets, memory, and compute are strictly limited. Continual learning (CL) addresses such dynamics by training models sequentially on task streams while preserving prior knowledge and consolidating new knowledge. While recent CL work has advanced in mitigating catastrophic forgetting and improving knowledge transfer, the practical requirements of energy and memory efficiency for tabular data streams remain underexplored. In particular, existing CL solutions mostly depend on replay mechanisms whose buffers grow over time and exacerbate resource costs. We propose a context-aware incremental Multi-Layer Perceptron (IMLP), a compact continual learner for tabular data streams. IMLP incorporates a windowed scaled dot-product attention over a sliding latent feature buffer, enabling constant-size memory and avoiding storing raw data. The attended context is concatenated with current features and processed by shared feed-forward layers, yielding lightweight per-segment updates. To assess practical deployability, we introduce NetScore-T, a tunable metric coupling balanced accuracy with energy for Pareto-aware comparison across models and datasets. IMLP achieves up to $27.6\times$ higher energy efficiency than TabNet and $85.5\times$ higher than TabPFN, while maintaining competitive average accuracy. Overall, IMLP provides an easy-to-deploy, energy-efficient alternative to full retraining for tabular data streams.
• Abstract（参考訳）: 医療、金融、IoT(Internet of Things)におけるリアルタイム意思決定において、タブラルデータストリームは、支配的なモダリティとして急速に現れています。 これらのアプリケーションは、エネルギー予算、メモリ、計算が厳格に制限されたエッジとモバイルデバイスで実行されるのが一般的である。 継続学習(CL)は、先行知識を保持し、新しい知識を統合する一方で、タスクストリーム上で逐次モデルをトレーニングすることで、そのようなダイナミクスに対処する。 近年のCL研究は、破滅的な忘れの軽減と知識伝達の改善に進んでいるが、表型データストリームのエネルギーとメモリ効率の実際的な要件は未解明のままである。 特に、既存のCLソリューションは、バッファが時間とともに成長し、リソースコストが悪化するリプレイ機構に依存している。 本稿では,表型データストリームのための連続学習システムであるIMLP(Multi-Layer Perceptron)を提案する。 IMLPは、スライディング潜在機能バッファにウィンドウ付きスケールされたドット製品アテンションを組み込んで、一定サイズのメモリを可能にし、生データの保存を回避している。 関連するコンテキストは現在の機能と統合され、共有フィードフォワード層によって処理される。 実用的デプロイ性を評価するため,モデルとデータセット間のPareto-aware比較のために,調整可能な距離結合精度とエネルギーのバランスをとるNetScore-Tを導入する。 IMLPはTabNetよりもエネルギー効率が27.6ドル、TabPFNより85.5ドル高い。 全体として、IMLPはグラフデータストリームのフルリトレーニングに代わる、デプロイが容易でエネルギー効率のよい代替手段を提供する。

関連論文リスト

• Streaming, Fast and Slow: Cognitive Load-Aware Streaming for Efficient LLM Serving [10.632179121247466]
  大規模言語モデル(LLM)は通常、計算予算によって決定されるレートで出力トークンをトーケンでストリームする。 LLMは、実際の人間の読み取り速度や、コンテンツに関連する認知的負荷を無視することが多い。 本稿では,LLMストリーミング出力のパッシングを,推定された認知負荷に基づいてリアルタイムに調整する適応ストリーミング手法を提案する。
  論文  参考訳（メタデータ） (2025-04-25T00:58:37Z)
• Deploying Large AI Models on Resource-Limited Devices with Split Federated Learning [39.73152182572741]
  本稿では、SFLAM(Quantized Split Federated Fine-Tuning Large AI Model)と呼ばれる新しいフレームワークを提案する。 エッジデバイスとサーバ間のトレーニング負荷を分割することで、SFLAMはデバイス上の大規模なモデルの操作を容易にすることができる。 SFLAMは、トレーニング効率を高めるために、量子化管理、電力制御、帯域幅割り当て戦略を取り入れている。
  論文  参考訳（メタデータ） (2025-04-12T07:55:11Z)
• TrIM, Triangular Input Movement Systolic Array for Convolutional Neural Networks: Dataflow and Analytical Modelling [0.0]
  畳み込みニューラルネットワーク(CNN)はフォン・ノイマンのボトルネックに影響を受けやすい。 このボトルネックは、処理コアとメモリ間でデータを移動する際のエネルギーコストに関連している。 本稿では,三角入力運動に基づく新しいSAデータフローであるTrIMを提案する。
  論文  参考訳（メタデータ） (2024-08-02T13:15:17Z)
• Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
  本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。 この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。 広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
  論文  参考訳（メタデータ） (2024-04-19T10:10:39Z)
• Online Continual Learning Without the Storage Constraint [67.66235695269839]
  我々は、kNN分類器を固定された事前訓練された特徴抽出器とともに継続的に更新する簡単なアルゴリズムを提案する。 高速に変化するストリームに適応し、安定性のギャップをゼロにし、小さな計算予算内で動作し、機能のみを格納することで、ストレージ要件を低くすることができる。 2つの大規模オンライン連続学習データセットにおいて、既存の手法を20%以上の精度で上回ることができる。
  論文  参考訳（メタデータ） (2023-05-16T08:03:07Z)
• Dynamic Scheduling for Federated Edge Learning with Streaming Data [56.91063444859008]
  我々は,長期的エネルギー制約のある分散エッジデバイスにおいて,トレーニングデータを時間とともにランダムに生成するフェデレーションエッジ学習(FEEL)システムを検討する。 限られた通信リソースとレイテンシ要件のため、各イテレーションでローカルトレーニングプロセスに参加するのはデバイスのサブセットのみである。
  論文  参考訳（メタデータ） (2023-05-02T07:41:16Z)
• Efficient Real Time Recurrent Learning through combined activity and parameter sparsity [0.5076419064097732]
  時間によるバックプロパゲーション(BPTT)は、リカレントニューラルネットワーク(RNN)のトレーニングのための標準アルゴリズムである BPTTはオンライン学習には不適であり、低リソースのリアルタイムシステムの実装に挑戦している。 実時間再帰学習(RTRL)の計算コストを削減できることを示す。
  論文  参考訳（メタデータ） (2023-03-10T01:09:04Z)
• Improving information retention in large scale online continual learning [99.73847522194549]
  オンライン連続学習は、既存の知識を維持しながら、新しいデータに効率的に適応することを目的としている。 最近の研究は、リプレイバッファが無制限であっても、大規模なOCLでは情報保持が問題であり続けていることを示唆している。 非定常目標に対する最適化を改善するため,移動平均の手法群を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:59:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。