論文の概要: Elastoformer: Enabling Dynamic Adaptivity via Elastic Model Transformation
- arxiv url: http://arxiv.org/abs/2609.10018v1
- Date: Wed, 09 Sep 2026 10:52:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.994982
- Title: Elastoformer: Enabling Dynamic Adaptivity via Elastic Model Transformation
- Title（参考訳）: Elastoformer: 弾性モデル変換による動的適応性の実現
- Abstract要約: Elastoformerは、従来のニューラルネットワーク(NN)をリアルタイムな弾性推論が可能なElastic NNに変換するフレームワークである。
我々のフレームワークは最大85%のFLOPの削減、50%のレイテンシの削減、76%のメモリオーバーヘッドの削減を実現している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: EdgeAI systems are increasingly employing computer vision applications to enable intelligent, on-device decision-making in real-time. However, these deployments face highly dynamic operational conditions, with fluctuating constraints on latency, power availability, and memory resources. Deep Neural Networks (DNN), which follow fixed computational execution flows, lack the flexibility to adapt to such variability, resulting in inefficient and suboptimal performance in edge scenarios. This underscores the need for architectures that are not only efficient but also dynamically scalable at runtime. In this paper, we propose Elastoformer: A framework that transforms conventional neural networks (NN) into Elastic NN capable of real-time elastic inference. Unlike the conventional bag-of-models approach, which requires maintaining multiple independent models for different operating conditions, Elastoformer offers a single, modular solution that dynamically switches between multiple modes of operation at runtime, adapting efficiently to the changing computational budgets of edge devices without the overhead of managing separate models. Experiments reveal that our framework achieves up to 85% reduction in computation FLOPs, 50% reduction in latency and 76% reduction in memory overhead, while showcasing the architecture agnostic nature of the framework across both Vision Transformers and CNNs. Our code is available at https://github.com/sudaksh14/Elastoformer.
- Abstract（参考訳）: EdgeAIシステムは、インテリジェントでデバイス上の意思決定をリアルタイムで実現するために、コンピュータビジョンアプリケーションをますます採用している。
しかしながら、これらのデプロイメントは、レイテンシ、電力可用性、メモリリソースの変動に制約のある、非常にダイナミックな運用条件に直面している。
一定の計算実行フローに従っているDeep Neural Networks (DNN)は、そのような可変性に適応する柔軟性に欠けており、エッジシナリオでは非効率で亜最適パフォーマンスをもたらす。
これは、効率的なだけでなく、実行時に動的にスケーラブルなアーキテクチャの必要性を浮き彫りにする。
本稿では,従来のニューラルネットワーク(NN)をリアルタイムな弾性推論が可能なElastic NNに変換するフレームワークであるElastoformerを提案する。
異なる操作条件で複数の独立モデルを維持する従来のback-of-modelsアプローチとは異なり、Elastoformerは、実行時に複数の操作モードを動的に切り替える単一のモジュラーソリューションを提供する。
実験の結果,我々のフレームワークは最大85%の計算FLOPの削減,50%のレイテンシの削減,76%のメモリオーバーヘッドの削減を実現していることがわかった。
私たちのコードはhttps://github.com/sudaksh14/Elastoformer.comから入手可能です。
関連論文リスト
- ElasticDiT: Efficient Diffusion Transformers via Elastic Architecture and Sparse Attention for High-Resolution Image Generation on Mobile Devices [19.789749822094617]
Diffusion Transformer (DiT) アーキテクチャは、高忠実度画像生成のための最先端パラダイムである。
しかし、これらのモデルをリソースに制約されたモバイルデバイスにデプロイするには、計算とメモリのオーバーヘッドが禁じられる。
本稿では,空間圧縮比とDiTブロック深さを調整することで,このダイナミックトレードオフを実現するElasticDiTを紹介する。
論文 参考訳（メタデータ） (2026-05-15T07:13:27Z) - Elastic Spiking Transformers for Efficient Gesture Understanding [6.52225846892392]
Spiking Neural Networks(SNN)は、医療アプリケーションのためのイベントベースのセンサデータのエネルギー効率の高い処理を提供する。
我々は、スパイキングパラダイムに弾力性をもたらすランタイム適応アーキテクチャであるElastic Spiking Transformerを紹介します。
CIFAR10/100, CIFAR10-DVS, EHWGesture 臨床ジェスチャー理解データセットについて検討した。
論文 参考訳（メタデータ） (2026-05-04T12:35:52Z) - Switchable Activation Networks [25.854474675239842]
SWAN(Switchable Activation Networks)は、各神経ユニットに決定論的、入力依存のバイナリゲートを装備するフレームワークである。
この動的制御機構は計算を適応的に割り当て、精度を維持しながら冗長性を低減させる。
SWANは、学習活性化制御の課題として効率性を再定義することにより、スパーシティ、プルーニング、適応推論の強みを統一する。
論文 参考訳（メタデータ） (2026-02-17T08:14:10Z) - Adaptive Mesh-Quantization for Neural PDE Solvers [51.26961483962011]
グラフニューラルネットワークは複雑なジオメトリや境界条件に必要な不規則なメッシュを処理できるが、それでもすべてのノードで一様計算処理を適用できる。
適応メッシュ量子化(Adaptive Mesh Quantization): メッシュノード,エッジ,クラスタ特徴間の空間適応量子化であり,量子化モデルで使用されるビット幅を動的に調整する。
我々は,MP-PDEとGraphViTという2つの最先端モデルと統合して,複数のタスクのパフォーマンスを評価することで,フレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2025-11-23T14:47:24Z) - Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。
本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。
提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
論文 参考訳（メタデータ） (2025-10-20T16:15:03Z) - Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。
NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。
我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
論文 参考訳（メタデータ） (2025-09-22T15:13:14Z) - ReStNet: A Reusable & Stitchable Network for Dynamic Adaptation on IoT Devices [16.762206782460296]
ReStNetは、2つの事前訓練されたモデルを縫合することで、ハイブリッドネットワークを動的に構築する。
実行時に柔軟な精度と効率のトレードオフを実現すると同時に、トレーニングコストを大幅に削減する。
論文 参考訳（メタデータ） (2025-06-08T16:14:37Z) - Towards Adaptive Deep Learning: Model Elasticity via Prune-and-Grow CNN Architectures [0.0]
この論文では、利用可能なハードウェアリソースに基づいて、CNNが計算複雑性を動的に調整できる方法を探究する。
我々は,実行時にキャパシティを拡張可能な適応型CNNアーキテクチャを導入し,性能と資源利用の効率よくバランスをとる。
論文 参考訳（メタデータ） (2025-05-16T10:06:55Z) - DyCE: Dynamically Configurable Exiting for Deep Learning Compression and Real-time Scaling [1.8350044465969415]
DyCEは、推論ハードウェアの再初期化や再デプロイを必要とせずに、実行時にディープラーニングモデルのパフォーマンスと複雑さのトレードオフを調整することができる。
DyCEは、ResNet152では23.5%、ImageNetではConvNextv2-tinyでは25.9%、精度は0.5%未満である。
論文 参考訳（メタデータ） (2024-03-04T03:09:28Z) - Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。
LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。
提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
論文 参考訳（メタデータ） (2023-08-23T10:48:28Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳（メタデータ） (2023-03-25T14:40:59Z) - Slimmable Domain Adaptation [112.19652651687402]
重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。
私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-06-14T06:28:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。