論文の概要: FastBoost: Progressive Attention with Dynamic Scaling for Efficient Deep Learning

• arxiv url: http://arxiv.org/abs/2511.01026v1
• Date: Sun, 02 Nov 2025 17:51:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:27.034882
• Title: FastBoost: Progressive Attention with Dynamic Scaling for Efficient Deep Learning
• Title（参考訳）: FastBoost: 効率的なディープラーニングのための動的スケーリングによるプログレッシブアテンション
• Authors: JunXi Yuan,
• Abstract要約: CIFARベンチマークで最先端性能を実現するパラメータ効率のよいニューラルアーキテクチャであるFastBoostを提案する。 CIFAR-10:95.57%の精度(0.85Mパラメータ)と93.80%(0.37Mパラメータ)。 拡張MBConvブロックとDSPAを統合することで、FastBoostはCIFAR-10の精度を+3.2ポイント向上し、MobileNetV3の2.1倍のパラメータ削減を実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present FastBoost, a parameter-efficient neural architecture that achieves state-of-the-art performance on CIFAR benchmarks through a novel Dynamically Scaled Progressive Attention (DSPA) mechanism. Our design establishes new efficiency frontiers with: CIFAR-10: 95.57% accuracy (0.85M parameters) and 93.80% (0.37M parameters) CIFAR-100: 81.37% accuracy (0.92M parameters) and 74.85% (0.44M parameters) The breakthrough stems from three fundamental innovations in DSPA: (1) Adaptive Fusion: Learnt channel-spatial attention blending with dynamic weights. (2) Phase Scaling: Training-stage-aware intensity modulation (from 0.5 to 1.0). (3) Residual Adaptation: Self-optimized skip connections (gamma from 0.5 to 0.72). By integrating DSPA with enhanced MBConv blocks, FastBoost achieves a 2.1 times parameter reduction over MobileNetV3 while improving accuracy by +3.2 percentage points on CIFAR-10. The architecture features dual attention pathways with real-time weight adjustment, cascaded refinement layers (increasing gradient flow by 12.7%), and a hardware-friendly design (0.28G FLOPs). This co-optimization of dynamic attention and efficient convolution operations demonstrates unprecedented parameter-accuracy trade-offs, enabling deployment in resource-constrained edge devices without accuracy degradation.
• Abstract（参考訳）: 我々は,新しい動的スケールプログレッシブアテンション(DSPA)機構を用いて,CIFARベンチマークの最先端性能を実現するパラメータ効率のよいニューラルアーキテクチャであるFastBoostを提案する。 CIFAR-10:95.57%の精度(0.85Mパラメータ)と93.80%のパラメータ(0.37Mパラメータ) CIFAR-100:81.37%の精度(0.92Mパラメータ)と74.85%のパラメータ(0.44Mパラメータ) このブレークスルーはDSPAの3つの基本的なイノベーションに由来する。 2)段階スケーリング:訓練段階対応強度変調(0.5～1.0)。 (3)残留適応:自己最適化スキップ接続(0.5から0.72までのガンマ)。 拡張MBConvブロックとDSPAを統合することで、FastBoostはCIFAR-10の精度を+3.2ポイント向上し、MobileNetV3の2.1倍のパラメータ削減を実現している。 このアーキテクチャは、リアルタイムの重量調整、カスケードされた洗練された層(勾配フローを12.7%増加させる)、ハードウェアフレンドリーな設計(0.28G FLOPs)の2つの注意経路を備えている。 この動的注意と効率的な畳み込み操作の協調最適化は、前例のないパラメータ精度のトレードオフを示し、精度劣化のないリソース制約エッジデバイスへの展開を可能にする。

関連論文リスト

• Every Attention Matters: An Efficient Hybrid Architecture for Long-Context Reasoning [73.10669391954801]
  本稿では、Ring-mini-linear-2.0およびRing-flash-linear-2.0を含むRing-linearモデルシリーズについて述べる。 どちらのモデルも線形アテンションとソフトマックスアテンションを効果的に統合するハイブリッドアーキテクチャを採用している。 32億のパラメータ密度モデルと比較して、このシリーズは推論コストを1/10に削減し、元のRingシリーズと比較すると、コストも50%以上削減される。
  論文  参考訳（メタデータ） (2025-10-22T07:59:38Z)
• Don't Forget the Nonlinearity: Unlocking Activation Functions in Efficient Fine-Tuning [82.16625951603315]
  NoRAは、固定活性化を学習可能な有理関数に置き換え、構造化された低ランク更新を数値化係数と分母係数に適用する。 CIFAR-10とCIFAR-100で訓練された視覚変換器では、NoRAはパラメータのわずか0.4%を更新しながら完全な微調整に適合または超過する。 NoRAは低次元機能部分空間への適応を制約し、暗黙的に更新の規模と方向を規則化する。
  論文  参考訳（メタデータ） (2025-09-16T16:47:03Z)
• Tri-Accel: Curvature-Aware Precision-Adaptive and Memory-Elastic Optimization for Efficient GPU Usage [0.6511750267058007]
  Tri-Accelは3つのアクセラレーション戦略と、トレーニング中の適応パラメータを併用する統合最適化フレームワークである。 ResNet-18とEfficientNet-B0を搭載したCIFAR-10では、Tri-Accelはトレーニング時間の最大9.9%削減とメモリ使用量の13.3%削減を実現している。 静的混合精度トレーニングと比較して、Tri-Accelは78.1%の精度を維持し、標準ハードウェアのメモリフットプリントを0.35GBから0.31GBに削減している。
  論文  参考訳（メタデータ） (2025-08-23T05:38:42Z)
• FORTRESS: Function-composition Optimized Real-Time Resilient Structural Segmentation via Kolmogorov-Arnold Enhanced Spatial Attention Networks [1.663204995903499]
  FORTRESS (Function-composition Optimized Real-Time Resilient Structure) は、特別な手法を用いて精度と速度のバランスをとる新しいアーキテクチャである。 Fortressには,系統的に分離可能な畳み込みフレームワーク,適応型TiKAN統合,マルチスケールアテンション融合という,3つの重要なイノベーションが含まれている。 このアーキテクチャは 91% のパラメータ還元 (31M から 2.9M) 、91% の計算複雑性低減 (13.7 から 1.17 GFLOPs) 、および 3倍の推論速度向上によって、顕著な効率向上を実現している。
  論文  参考訳（メタデータ） (2025-07-16T23:17:58Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。