論文の概要: Parameter Efficient Continual Learning for Sparse Event-Based Transformers

• arxiv url: http://arxiv.org/abs/2608.26720v1
• Date: Thu, 27 Aug 2026 07:12:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.284161
• Title: Parameter Efficient Continual Learning for Sparse Event-Based Transformers
• Title（参考訳）: スパースイベントベース変圧器のパラメータ効率的な連続学習
• Abstract要約: sLoThは、事前訓練されたスパースイベントベースの視覚変換器のためのパラメータ効率のよい連続学習フレームワークである。 実験では、クラスインクリメンタル学習やオンライン連続学習において、競争力のないリハーサル性能を示し、従来の高密度視覚変換器よりも6.5倍低いエネルギー消費を可能にした。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robotic and edge intelligence systems operate in dynamic environments where data arrives continuously, requiring models to adapt while preserving previously learned knowledge under strict memory and energy constraints. While parameter-efficient fine-tuning has shown promise for continual learning with vision transformers, conventional architectures rely on dense computation and remain costly for real-world deployment. Sparse event-based vision transformers provide energy-efficient event-driven computation, yet their continual learning capabilities remain largely unexplored. We here introduce sLoTh, a parameter-efficient continual learning framework for pretrained sparse event-based (spiking) vision transformers. sLoTh freezes the backbone and restricts plasticity to scalable-efficient low-rank attention updates (seLoRA) and shared neuronal threshold modulation, enabling adaptation without replay buffers by updating less than 1% of model parameters. Experiments across CIFAR-100, Tiny-ImageNet, ImageNet-100, and ImageNet-R with up to 100 tasks demonstrate competitive rehearsal-free performance in class-incremental learning and online continual learning, while enabling approximately 6.5x lower energy consumption than conventional dense vision transformers.
• Abstract（参考訳）: ロボットとエッジインテリジェンスシステムは、データが継続的に到着する動的な環境で動作し、厳格なメモリとエネルギーの制約の下で学習した知識を保ちながら、モデルを適応させる必要がある。 パラメータ効率のよい微調整は、視覚変換器による連続的な学習を約束する一方で、従来のアーキテクチャは高密度な計算に依存し、現実のデプロイメントにはコストがかかる。 スパースイベントベースの視覚変換器は、エネルギー効率のよいイベント駆動型計算を提供するが、連続的な学習能力はほとんど探索されていない。 本稿では、事前訓練されたスパースイベントベース(スポーキング)視覚変換器のためのパラメータ効率のよい連続学習フレームワークであるsLoThを紹介する。 sLoThはバックボーンを凍結し、可塑性をスケーラブルな低ランクアテンション更新(seLoRA)と共有ニューロン閾値変調に制限し、モデルパラメータの1%未満を更新することでバッファをリプレイすることなく適応を可能にする。 CIFAR-100、Tiny-ImageNet、ImageNet-100、ImageNet-Rの最大100タスクにわたる実験は、クラスインクリメンタルラーニングとオンライン連続学習における競合的なリハーサルなしのパフォーマンスを示し、従来の高密度ビジョントランスフォーマーよりも約6.5倍低いエネルギー消費を可能にした。

関連論文リスト

• An active-learning framework for real-time depth perception from monocular vision streams [24.813023779263645]
  オンラインアクティブラーニング機構は、運用中に連続的に適応する機能を備えたコンパクトニューラルネットワークを実現するために導入された。 クローズドループ予測評価学習パラダイムを構築し、ストリーミング視覚入力から高信頼で情報豊富な信号を積極的に選択する。 提案システムは,競争深度推定精度を維持しつつ,約75%の計算コスト削減を実現する。
  論文  参考訳（メタデータ） (2026-08-05T14:45:16Z)
• GigaWorld-Policy-0.5: A Faster and Stronger WAM Empowered by AutoResearch [66.7936140772745]
  本稿では,より効率的なロボット制御を目的としたアクション中心型WAMであるGigaWorld-Policy-0.5を紹介する。 効率的な推論のために、GigaWorld-Policy-0.5はMixture-of-Transformersアーキテクチャを導入している。 GigaWorld-Policy-0.5は,ロボット制御の推論効率を向上しつつ,将来の視覚力学のトレーニング効果を保っている。
  論文  参考訳（メタデータ） (2026-07-15T15:46:42Z)
• Energy-Aware Spike Budgeting for Continual Learning in Spiking Neural Networks for Neuromorphic Vision [0.0]
  スパイキングニューラルネットワーク(SNN)に基づくニューロモルフィック視覚システムは、イベントベースおよびフレームベースのカメラに対して超低消費電力の知覚を提供する。 既存の継続学習手法は、主に人工知能ニューラルネットワーク向けに開発されており、精度とエネルギー効率を共同で最適化することはめったにない。 本研究では,連続的なSNN学習のためのエネルギーを意識したスパイク予算化フレームワークを提案する。これは,経験の再現,学習可能なインテグレート・アンド・ファイア・ニューロンパラメータ,およびデータセット固有のエネルギー制約を強制するための適応スパイクススケジューラを提案する。
  論文  参考訳（メタデータ） (2026-02-12T18:15:32Z)
• ScaleNet: Scaling up Pretrained Neural Networks with Incremental Parameters [67.87703790962388]
  視覚変換器(ViT)の効率的なスケーリング手法であるScaleNetを導入する。 従来のスクラッチからのトレーニングとは異なり、ScaleNetはパラメータの無視可能な増加を伴う迅速なモデル拡張を容易にする。 ScaleNetはトレーニングの3分の1しか必要とせず、スクラッチからトレーニングよりも精度が7.42%向上していることを示す。
  論文  参考訳（メタデータ） (2025-10-21T09:07:25Z)
• CBPNet: A Continual Backpropagation Prompt Network for Alleviating Plasticity Loss on Edge Devices [16.318540474216416]
  塑性の低下は、トレーニング過程において未利用パラメータの更新活力の欠如に起因していると論じる。 本稿では,モデルの学習活力を回復するための有効かつパラメータ効率の高いフレームワークである連続バックプロパゲーション・プロンプト・ネットワーク(CBPNet)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T09:16:54Z)
• Recurrent Diffusion for Large-Scale Parameter Generation [52.98888368644455]
  リカレント拡散(Recurrent Diffusion for Large Scale Generation)は、単一のGPU上で最大数億のニューラルネットワークパラメータを生成する新しいフレームワークである。 RPGはAI生成において重要な進歩であり、以前は不可能と考えられていたスケールでの効率的な重量生成を可能にする可能性がある。
  論文  参考訳（メタデータ） (2025-01-20T16:46:26Z)
• Shrinking the Giant : Quasi-Weightless Transformers for Low Energy Inference [0.30104001512119216]
  高速でエネルギー効率のよい推論モデルの構築は、様々なトランスフォーマーベースのアプリケーションを実現するために不可欠である。 拡張有限差分法によりLUTネットワークを直接学習する手法を構築した。 これにより、トランスベースのモデルに対する計算的でエネルギー効率の良い推論ソリューションが実現される。
  論文  参考訳（メタデータ） (2024-11-04T05:38:56Z)
• FullLoRA: Efficiently Boosting the Robustness of Pretrained Vision Transformers [72.83770102062141]
  Vision Transformer (ViT) モデルは、様々なコンピュータビジョンタスクにおいて徐々に主流になりつつある。 既存の大きなモデルは、トレーニング中のパフォーマンスを優先する傾向があり、ロバストさを無視する可能性がある。 従来のLoRAモジュールよりも前に学習可能なレイヤ正規化を取り入れた新しいLNLoRAモジュールを開発した。 学習可能なLNLoRAモジュールをViTモデルの主要コンポーネントに組み込むことにより,FullLoRAフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-03T14:08:39Z)
• Continual Learning with Transformers for Image Classification [12.028617058465333]
  コンピュータビジョンでは、ニューラルネットワークモデルは、過去に何を学んだかを忘れずに、新しい概念を継続的に学習する。 本研究では,適応型適応器の蒸留法 (ADA) を開発した。 本手法は,モデルを再学習することなく,優れた予測性能を維持することを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-28T15:30:10Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• Highly Efficient Salient Object Detection with 100K Parameters [137.74898755102387]
  そこで我々は,段階内および複数ステージのマルチスケール機能を効率的に活用するために,フレキシブルな畳み込みモジュールであるOctoConv(gOctConv)を提案する。 我々は、非常に軽量なモデル、すなわちCSNetを構築し、一般的なオブジェクト検出ベンチマークで、約0.2%(100k)の大規模モデルで同等のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-03-12T07:00:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。