論文の概要: DecTrain: Deciding When to Train a DNN Online

• arxiv url: http://arxiv.org/abs/2410.02980v1
• Date: Thu, 3 Oct 2024 20:43:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 04:35:40.402705
• Title: DecTrain: Deciding When to Train a DNN Online
• Title（参考訳）: DecTrain: DNNオンライントレーニングのタイミング決定
• Authors: Zih-Sing Fu, Soumya Sudhakar, Sertac Karaman, Vivienne Sze,
• Abstract要約: ディープニューラルネットワーク(DNN)は、デプロイメントデータがトレーニングデータと異なる場合、精度が低下する可能性がある。 我々は,低オーバーヘッドで自己スーパービジョンを用いて,単眼深度DNNのオンライントレーニングをいつ行うかを決定する新しいアルゴリズムであるDecTrainを提案する。 DecTrainはオンライントレーニングに比べ精度を保ち、平均的なトレーニング時間は44%に過ぎません。
• 参考スコア（独自算出の注目度）: 25.408372873363078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) can deteriorate in accuracy when deployment data differs from training data. While performing online training at all timesteps can improve accuracy, it is computationally expensive. We propose DecTrain, a new algorithm that decides when to train a monocular depth DNN online using self-supervision with low overhead. To make the decision at each timestep, DecTrain compares the cost of training with the predicted accuracy gain. We evaluate DecTrain on out-of-distribution data, and find DecTrain maintains accuracy compared to online training at all timesteps, while training only 44% of the time on average. We also compare the recovery of a low inference cost DNN using DecTrain and a more generalizable high inference cost DNN on various sequences. DecTrain recovers the majority (97%) of the accuracy gain of online training at all timesteps while reducing computation compared to the high inference cost DNN which recovers only 66%. With an even smaller DNN, we achieve 89% recovery while reducing computation by 56%. DecTrain enables low-cost online training for a smaller DNN to have competitive accuracy with a larger, more generalizable DNN at a lower overall computational cost.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、デプロイメントデータがトレーニングデータと異なる場合、精度が低下する可能性がある。 オンライントレーニングをあらゆるタイミングで行うと精度が向上するが、計算コストは高くつく。 我々は,低オーバーヘッドで自己スーパービジョンを用いて,単眼深度DNNのオンライントレーニングをいつ行うかを決定する新しいアルゴリズムであるDecTrainを提案する。 各タイミングで決定を行うために、DecTrainはトレーニングコストと予測精度ゲインを比較する。 アウト・オブ・ディストリビューションデータに基づいてDecTrainを評価し,オンライントレーニングに比べ,DecTrainが精度を維持しているのに対して,トレーニング時間は平均44%に過ぎなかった。 また,DecTrain を用いた低推論コスト DNN と,より一般化可能な高推論コスト DNN を各種シーケンス上で比較した。 DecTrainは66%しかリカバリできない高推論コストのDNNに比べて計算量を削減しつつ、オンライントレーニングの精度向上の過半数(97%)を回復する。 さらに小さなDNNでは、計算量を56%削減しながら89%のリカバリを実現しています。 DecTrainは、より小さなDNNのための低コストのオンライントレーニングを可能にする。

関連論文リスト

• Adversarial training with informed data selection [53.19381941131439]
  アドリアリトレーニングは、これらの悪意のある攻撃からネットワークを守るための最も効率的なソリューションである。 本研究では,ミニバッチ学習に適用すべきデータ選択戦略を提案する。 シミュレーションの結果,ロバスト性および標準精度に関して良好な妥協が得られることがわかった。
  論文  参考訳（メタデータ） (2023-01-07T12:09:50Z)
• Automated machine learning for borehole resistivity measurements [0.0]
  ディープニューラルネットワーク(DNN)は、ボアホール比抵抗測定の反転のためのリアルタイムソリューションを提供する。 非常に大きなDNNを使って演算子を近似することができるが、かなりの訓練時間を必要とする。 本研究では,DNNの精度とサイズを考慮したスコアリング機能を提案する。
  論文  参考訳（メタデータ） (2022-07-20T12:27:22Z)
• LDP: Learnable Dynamic Precision for Efficient Deep Neural Network Training and Inference [24.431074439663437]
  Learnable Dynamic Precision (LDP) は、トレーニング中の時間的および空間的ダイナミックな精度スケジュールを自動的に学習するフレームワークである。 LDPは、訓練効率の点で、最先端(SOTA)の低精度DNN訓練技術より一貫して優れており、精度のトレードオフも達成している。
  論文  参考訳（メタデータ） (2022-03-15T08:01:46Z)
• Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training data [52.771780951404565]
  Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。 SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
  論文  参考訳（メタデータ） (2021-08-02T18:00:38Z)
• "BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
  バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
  論文  参考訳（メタデータ） (2021-04-16T16:46:57Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• CPT: Efficient Deep Neural Network Training via Cyclic Precision [19.677029887330036]
  低精度ディープニューラルネットワーク(DNN)トレーニングは、DNNのトレーニング時間/エネルギー効率を高めるための最も効果的なノブの1つであるため、大きな注目を集めている。 我々は、DNNの精度がDNNトレーニングの学習速度と類似している可能性を推察し、DNNトレーニングの時間/エネルギー効率をさらに高めるためのトレーニング軌道に沿った動的精度を提唱する。
  論文  参考訳（メタデータ） (2021-01-25T02:56:18Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training [2.5025363034899732]
  本稿では,SGDアルゴリズムを単純な計算要素に分割することで,ベースラインDNNアクセラレータ(推論のみ)にトレーニング能力を付加する手法を提案する。 DNNトレーニングのための軽量加速器であるTaxoNNを提案する。 実験の結果,TaxoNNは実精度よりも平均0.97%,誤分類率が高いことがわかった。
  論文  参考訳（メタデータ） (2020-10-11T09:04:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。