論文の概要: Fast Evaluation of DNN for Past Dataset in Incremental Learning

• arxiv url: http://arxiv.org/abs/2405.06296v1
• Date: Fri, 10 May 2024 07:55:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-13 16:17:47.093553
• Title: Fast Evaluation of DNN for Past Dataset in Incremental Learning
• Title（参考訳）: インクリメンタル学習における過去のデータセットに対するDNNの高速評価
• Authors: Naoto Sato,
• Abstract要約: 本稿では,過去のデータセットの精度への影響を迅速に評価する手法を提案する。 過去のデータセットのパラメータ値の勾配は、トレーニング前にDNNを実行して抽出する。 提案手法は,一定の時間で追加トレーニングによる精度変化を推定できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: During the operation of a system including a deep neural network (DNN), new input values that were not included in the training dataset are given to the DNN. In such a case, the DNN may be incrementally trained with the new input values; however, that training may reduce the accuracy of the DNN in regard to the dataset that was previously obtained and used for the past training. It is necessary to evaluate the effect of the additional training on the accuracy for the past dataset. However, evaluation by testing all the input values included in the past dataset takes time. Therefore, we propose a new method to quickly evaluate the effect on the accuracy for the past dataset. In the proposed method, the gradient of the parameter values (such as weight and bias) for the past dataset is extracted by running the DNN before the training. Then, after the training, its effect on the accuracy with respect to the past dataset is calculated from the gradient and update differences of the parameter values. To show the usefulness of the proposed method, we present experimental results with several datasets. The results show that the proposed method can estimate the accuracy change by additional training in a constant time.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)を含むシステムの運用中、トレーニングデータセットに含まれていない新しい入力値がDNNに与えられる。 このような場合、DNNは新たな入力値で漸進的にトレーニングされるが、このトレーニングは、以前取得され、過去のトレーニングに使用されたデータセットに関して、DNNの精度を低下させる可能性がある。 過去のデータセットの精度に対する追加トレーニングの効果を評価する必要がある。 しかし、過去のデータセットに含まれるすべての入力値をテストすることで評価には時間がかかる。 そこで本稿では,過去のデータセットの精度への影響を迅速に評価する手法を提案する。 提案手法では,過去のデータセットのパラメータ値(重みやバイアスなど)の勾配を,トレーニング前にDNNを実行することで抽出する。 そして、トレーニング後、パラメータ値の勾配から過去のデータセットに対する精度への影響を算出し、パラメータ値の差を更新する。 提案手法の有用性を示すために,いくつかのデータセットを用いて実験結果を示す。 その結果,提案手法は一定時間で追加訓練により精度変化を推定できることが示唆された。

関連論文リスト

• KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
  深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。 我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。 本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
  論文  参考訳（メタデータ） (2023-10-16T06:19:29Z)
• LAVA: Data Valuation without Pre-Specified Learning Algorithms [20.578106028270607]
  我々は、下流学習アルゴリズムに不利な方法でトレーニングデータを評価できる新しいフレームワークを導入する。 本研究では,訓練と検証セット間の非伝統的なクラスワイドワッサースタイン距離に基づいて,トレーニングセットに関連する検証性能のプロキシを開発する。 距離は、特定のリプシッツ条件下での任意のモデルに対する検証性能の上限を特徴付けることを示す。
  論文  参考訳（メタデータ） (2023-04-28T19:05:16Z)
• Optimizing Data Shapley Interaction Calculation from O(2^n) to O(t n^2) for KNN models [2.365702128814616]
  STI-KNNは、O(t n2)時間におけるKNNモデルに対する正確なペア相互作用シェープ値を計算する革新的なアルゴリズムである。 STI-KNNを使用することで、個々のデータポイントの価値を効率よく正確に評価することができ、トレーニング結果が改善され、最終的には人工知能アプリケーションの有効性が向上する。
  論文  参考訳（メタデータ） (2023-04-02T06:15:19Z)
• Confidence-Nets: A Step Towards better Prediction Intervals for regression Neural Networks on small datasets [0.0]
  そこで本研究では,予測の不確かさを推定し,精度を向上し,予測変動の間隔を与えるアンサンブル手法を提案する。 提案手法は様々なデータセットで検証され,ニューラルネットワークモデルの性能が大幅に向上した。
  論文  参考訳（メタデータ） (2022-10-31T06:38:40Z)
• Dataset Distillation by Matching Training Trajectories [75.9031209877651]
  そこで本研究では,実データと同じような状態にネットワークを誘導するために,蒸留データを最適化する新しい定式化を提案する。 ネットワークが与えられたら、蒸留データを何回か繰り返して訓練し、合成訓練されたパラメータと実データで訓練されたパラメータとの距離に関して蒸留データを最適化する。 本手法は既存の手法よりも優れており,高解像度の視覚データを蒸留することができる。
  論文  参考訳（メタデータ） (2022-03-22T17:58:59Z)
• Learning to be a Statistician: Learned Estimator for Number of Distinct Values [54.629042119819744]
  列内の異なる値の数(NDV)を推定することは、データベースシステムにおける多くのタスクに有用である。 本研究では、ランダム(オンライン/オフライン)サンプルから正確なNDV推定を導出する方法に焦点を当てる。 教師付き学習フレームワークにおいて,NDV推定タスクを定式化し,モデルを推定対象として学習することを提案する。
  論文  参考訳（メタデータ） (2022-02-06T15:42:04Z)
• DIVA: Dataset Derivative of a Learning Task [108.18912044384213]
  本稿では,データセットに関する学習課題の微分を計算する手法を提案する。 学習タスクは、トレーニングセットから検証エラーまでの関数であり、トレーニングされたディープニューラルネットワーク(DNN)で表現することができる。 は、トレーニングされたモデルを中心に計算され、各トレーニングサンプルの重みの外れ値がバリデーションエラーにどのように影響するかを知らせる線形演算子である。
  論文  参考訳（メタデータ） (2021-11-18T16:33:12Z)
• IADA: Iterative Adversarial Data Augmentation Using Formal Verification and Expert Guidance [1.599072005190786]
  本稿では,ニューラルネットワークモデルを学習するための反復的逆データ拡張フレームワークを提案する。 提案するフレームワークは,人工的な2Dデータセット,MNISTデータセット,人間の動作データセットに適用される。 学習モデルのロバスト性や精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-08-16T03:05:53Z)
• HYDRA: Hypergradient Data Relevance Analysis for Interpreting Deep Neural Networks [51.143054943431665]
  本稿では、深層ニューラルネットワーク(DNN)による予測をトレーニングデータの効果として解釈する高次データ関連分析(HYDRA)を提案する。 HYDRAは、トレーニング軌跡全体を通して、テストデータポイントに対するトレーニングデータの貢献を評価する。 さらに,HyDRAは,データのコントリビューションを正確に推定し,ノイズのあるデータラベルを検出することで,影響関数よりも優れていることを定量的に示す。
  論文  参考訳（メタデータ） (2021-02-04T10:00:13Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。