論文の概要: AdapSNE: Adaptive Fireworks-Optimized and Entropy-Guided Dataset Sampling for Edge DNN Training

• arxiv url: http://arxiv.org/abs/2508.16647v1
• Date: Tue, 19 Aug 2025 06:48:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.081429
• Title: AdapSNE: Adaptive Fireworks-Optimized and Entropy-Guided Dataset Sampling for Edge DNN Training
• Title（参考訳）: AdapSNE: エッジDNNトレーニングのための適応型ファイアワーク最適化とエントロピー誘導型データセットサンプリング
• Authors: Boran Zhao, Hetian Liu, Zihang Yuan, Li Zhu, Fan Yang, Lina Xie Tian Xia, Wenzhe Zhao, Pengju Ren,
• Abstract要約: エッジデバイス上でのディープニューラルネットワーク(DNN)のトレーニングは、ドメイン適応やプライバシ保護といった課題に対する有望なソリューションを提供するため、注目を集めている。 本稿では,効率的な非モノトニック探索手法,すなわちファイアワークスアルゴリズム(FWA)を組み込んで,異常値を抑制するAdapSNEを提案し,アントロピー誘導最適化を用いて一様サンプリングを行う。
• 参考スコア（独自算出の注目度）: 10.162214884541829
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training deep neural networks (DNNs) directly on edge devices has attracted increasing attention, as it offers promising solutions to challenges such as domain adaptation and privacy preservation. However, conventional DNN training typically requires large-scale datasets, which imposes prohibitive overhead on edge devices-particularly for emerging large language model (LLM) tasks. To address this challenge, a DNN-free method (ie., dataset sampling without DNN), named NMS (Near-Memory Sampling), has been introduced. By first conducting dimensionality reduction of the dataset and then performing exemplar sampling in the reduced space, NMS avoids the architectural bias inherent in DNN-based methods and thus achieves better generalization. However, The state-of-the-art, NMS, suffers from two limitations: (1) The mismatch between the search method and the non-monotonic property of the perplexity error function leads to the emergence of outliers in the reduced representation; (2) Key parameter (ie., target perplexity) is selected empirically, introducing arbitrariness and leading to uneven sampling. These two issues lead to representative bias of examplars, resulting in degraded accuracy. To address these issues, we propose AdapSNE, which integrates an efficient non-monotonic search method-namely, the Fireworks Algorithm (FWA)-to suppress outliers, and employs entropy-guided optimization to enforce uniform sampling, thereby ensuring representative training samples and consequently boosting training accuracy. To cut the edge-side cost arising from the iterative computations of FWA search and entropy-guided optimization, we design an accelerator with custom dataflow and time-multiplexing markedly reducing on-device training energy and area.
• Abstract（参考訳）: エッジデバイス上でのディープニューラルネットワーク(DNN)のトレーニングは、ドメイン適応やプライバシ保護といった課題に対する有望なソリューションを提供するため、注目を集めている。 しかし、従来のDNNトレーニングでは、特に新興の大規模言語モデル(LLM)タスクにおいて、エッジデバイスに禁止的なオーバーヘッドを課す大規模なデータセットが要求される。 この課題に対処するために、NMS(Near-Memory Sampling)と名付けられたDNNフリーメソッド(DNNなしでのデータセットサンプリング)が導入された。 NMSは、まずデータセットの次元的縮小を行い、次に縮小された空間で模範サンプリングを行うことで、DNNベースの手法に固有のアーキテクチャバイアスを回避し、より良い一般化を実現する。 しかし, 最先端のNMSは, 1) 探索法とパープレキシティエラー関数の非単調性とのミスマッチは, 縮小表現における外れ値の出現を招き, 2) キーパラメータ(すなわち, ターゲットパープレキシティ)を経験的に選択し, 任意性を導入し, 不均一なサンプリングをもたらす。 これらの2つの問題は試験官の代表的な偏見につながり、結果として精度が低下する。 これらの問題に対処するため,ファイアワークスアルゴリズム (FWA) という効率的な非単調探索手法を統合したAdapSNEを提案する。 FWA探索とエントロピー誘導最適化の反復計算から生じるエッジ側コストを削減するために、カスタムデータフローと時間多重化を備えたアクセラレータを設計し、デバイス上でのトレーニングエネルギーと面積を大幅に削減する。

関連論文リスト

• NMS: Efficient Edge DNN Training via Near-Memory Sampling on Manifolds [5.972311484624968]
  エッジデバイス上でのディープニューラルネットワーク(DNN)のトレーニングは、ドメイン適応とプライバシ保護に関する課題に対処する可能性から、注目を集めている。 NMSと呼ばれるエッジデバイスに対して,より効率的な位置近傍メモリサンプリング特性を備えた,高速なDNNトレーニングシステムを構築した。
  論文  参考訳（メタデータ） (2025-08-04T11:29:47Z)
• Efficient Fault Detection in WSN Based on PCA-Optimized Deep Neural Network Slicing Trained with GOA [0.6827423171182154]
  従来の障害検出手法は、効率的なパフォーマンスのためにディープニューラルネットワーク(DNN)の最適化に苦労することが多い。 本研究では,これらの制約に対処するためにGrasshopper Optimization Algorithm(GOA)によって最適化されたDNNと主成分分析(PCA)を組み合わせた新しいハイブリッド手法を提案する。 従来の手法よりも優れた精度とリコールで,99.72%の分類精度を実現している。
  論文  参考訳（メタデータ） (2025-05-11T15:51:56Z)
• EAS-SNN: End-to-End Adaptive Sampling and Representation for Event-based Detection with Recurrent Spiking Neural Networks [14.046487518350792]
  スパイキングニューラルネットワーク(SNN)は、スパーススパイク通信を通じてイベント駆動の操作を行う。 本稿では,Residual potential Dropout (RPD) と Spike-Aware Training (SAT) を導入する。 我々の方法では、Gen1データセットで4.4%のmAP改善が得られ、パラメータは38%減少し、3つのタイムステップしか必要としない。
  論文  参考訳（メタデータ） (2024-03-19T09:34:11Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• A Novel Adaptive Causal Sampling Method for Physics-Informed Neural Networks [35.25394937917774]
  インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)の解を得るための魅力的な機械学習手法である。 適応サンプリングに時間因果性を導入し,PINの性能と効率を向上させるための適応因果サンプリング手法を提案する。 本研究では, 比較的単純なサンプリング手法を用いることで, 予測性能を2桁まで向上できることを実証した。
  論文  参考訳（メタデータ） (2022-10-24T01:51:08Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Learning from Images: Proactive Caching with Parallel Convolutional Neural Networks [94.85780721466816]
  本稿では,プロアクティブキャッシングのための新しいフレームワークを提案する。 モデルベースの最適化とデータ駆動技術を組み合わせて、最適化問題をグレースケールのイメージに変換する。 数値計算の結果,提案手法は71.6%の計算時間を0.8%のコストで削減できることがわかった。
  論文  参考訳（メタデータ） (2021-08-15T21:32:47Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
  最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。 提案されたSIDNNは、幅広いOPFスキームと互換性がある。 他のLearning-to-OPFスキームとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-03-27T00:45:23Z)
• A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework [56.57225686288006]
  モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。 従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。 プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-13T23:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。