論文の概要: AdaBet: Gradient-free Layer Selection for Efficient Training of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2510.03101v1
• Date: Fri, 03 Oct 2025 15:30:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.453856
• Title: AdaBet: Gradient-free Layer Selection for Efficient Training of Deep Neural Networks
• Title（参考訳）: AdaBet: ディープニューラルネットワークの効率的なトレーニングのためのグラディエントフリー層選択
• Authors: Irene Tenison, Soumyajit Chatterjee, Fahim Kawsar, Mohammad Malekzadeh,
• Abstract要約: AdaBetは、重要なレイヤをランク付けするための、勾配のない層選択アプローチである。 AdaBetは、勾配ベースのベースラインよりも5%高い分類精度で平均的なゲインを達成する。
• 参考スコア（独自算出の注目度）: 15.161855195633551
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To utilize pre-trained neural networks on edge and mobile devices, we often require efficient adaptation to user-specific runtime data distributions while operating under limited compute and memory resources. On-device retraining with a target dataset can facilitate such adaptations; however, it remains impractical due to the increasing depth of modern neural nets, as well as the computational overhead associated with gradient-based optimization across all layers. Current approaches reduce training cost by selecting a subset of layers for retraining, however, they rely on labeled data, at least one full-model backpropagation, or server-side meta-training; limiting their suitability for constrained devices. We introduce AdaBet, a gradient-free layer selection approach to rank important layers by analyzing topological features of their activation spaces through Betti Numbers and using forward passes alone. AdaBet allows selecting layers with high learning capacity, which are important for retraining and adaptation, without requiring labels or gradients. Evaluating AdaBet on sixteen pairs of benchmark models and datasets, shows AdaBet achieves an average gain of 5% more classification accuracy over gradient-based baselines while reducing average peak memory consumption by 40%.
• Abstract（参考訳）: エッジやモバイルデバイス上でトレーニング済みのニューラルネットワークを利用するには、限られた計算リソースとメモリリソースの下で動作しながら、ユーザ固有の実行時データ分散に効率よく適応する必要があることが多い。 ターゲットデータセットによるオンデバイス再トレーニングは、このような適応を促進することができるが、現代のニューラルネットワークの深さの増大と、すべての層にわたる勾配ベースの最適化に伴う計算オーバーヘッドのため、現実的ではない。 現在のアプローチでは、リトレーニング用のレイヤのサブセットを選択することで、トレーニングコストを削減しているが、ラベル付きデータ、少なくとも1つのフルモデルバックプロパゲーション、あるいはサーバ側のメタトレーニングに依存しており、制約のあるデバイスに対する適合性を制限している。 AdaBetは,活性化空間の位相的特徴をベッチ数を用いて解析し,フォワードパスを単独で利用することにより,重要な層をランク付けするための勾配のない層選択手法である。 AdaBetでは、ラベルや勾配を必要とせずに、再トレーニングや適応に重要な、高い学習能力を持つレイヤを選択することができる。 16組のベンチマークモデルとデータセットでAdaBetを評価すると、AdaBetは勾配ベースのベースラインよりも5%高い分類精度を達成し、平均ピークメモリ消費量を40%削減している。

関連論文リスト

• Fast and Slow Gradient Approximation for Binary Neural Network Optimization [11.064044986709733]
  ハイパーネットワークに基づく手法は、ニューラルネットワークを用いて微分不可能な量子化関数の勾配を学習する。 本稿では,ヒストリ・グラディエント・ストレージ(HGS)モジュールを提案する。これは,ヒストリ・グラディエント・シーケンスをモデル化し,最適化に必要な1次モーメントを生成する。 また、ハイパーネットワークに層認識埋め込み(LRE)を導入し、層固有の微細勾配の生成を容易にする。
  論文  参考訳（メタデータ） (2024-12-16T13:48:40Z)
• Stepping Forward on the Last Mile [8.756033984943178]
  本稿では,バックプロパゲーションと比較してメモリフットプリントと精度のギャップを低減させるアルゴリズムの一連の拡張を提案する。 その結果、エッジデバイス上でのモデルカスタマイズの最後のマイルでは、固定点前方勾配によるトレーニングが実現可能で実践的なアプローチであることが示されている。
  論文  参考訳（メタデータ） (2024-11-06T16:33:21Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Occam Gradient Descent [0.0]
  勾配降下と等級プルーニングを結合したアルゴリズムを「Occam Gradient Descent」に提案する。 Occam Gradient Descentで訓練されたニューラルネットワークは、Random Forestsと同様に従来の勾配降下よりも優れている。
  論文  参考訳（メタデータ） (2024-05-30T15:58:22Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Learning with Local Gradients at the Edge [14.94491070863641]
  我々は、Target Projection Gradient Descent (tpSGD) と呼ばれる新しいバックプロパゲーションフリー最適化アルゴリズムを提案する。 tpSGDは、任意の損失関数を扱うために、直接ランダムターゲット射影を一般化する。 我々は、深層ニューラルネットワークのトレーニングにおけるtpSGDの性能を評価し、マルチ層RNNへのアプローチを拡張した。
  論文  参考訳（メタデータ） (2022-08-17T19:51:06Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• Ensemble Wrapper Subsampling for Deep Modulation Classification [70.91089216571035]
  受信した無線信号のサブサンプリングは、ハードウェア要件と信号処理アルゴリズムの計算コストを緩和するために重要である。 本稿では,無線通信システムにおけるディープラーニングを用いた自動変調分類のためのサブサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-05-10T06:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。