論文の概要: Learning with Retrospection

• arxiv url: http://arxiv.org/abs/2012.13098v1
• Date: Thu, 24 Dec 2020 04:43:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-04-25 16:43:11.421780
• Title: Learning with Retrospection
• Title（参考訳）: 振り返って学ぶ
• Authors: Xiang Deng, Zhongfei Zhang
• Abstract要約: ディープニューラルネットワークのトレーニングの現在の標準手順は、現在の学習重みを除いて、過去の時代のすべての学習情報を破棄する。 本研究では,過去における学習情報を活用した振り返り学習(LWR)を提案し,その後のトレーニングを指導する。
• 参考スコア（独自算出の注目度）: 30.38128029453977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks have been successfully deployed in various domains of artificial intelligence, including computer vision and natural language processing. We observe that the current standard procedure for training DNNs discards all the learned information in the past epochs except the current learned weights. An interesting question is: is this discarded information indeed useless? We argue that the discarded information can benefit the subsequent training. In this paper, we propose learning with retrospection (LWR) which makes use of the learned information in the past epochs to guide the subsequent training. LWR is a simple yet effective training framework to improve accuracies, calibration, and robustness of DNNs without introducing any additional network parameters or inference cost, only with a negligible training overhead. Extensive experiments on several benchmark datasets demonstrate the superiority of LWR for training DNNs.
• Abstract（参考訳）: ディープニューラルネットワークは、コンピュータビジョンや自然言語処理など、人工知能のさまざまな領域でうまく展開されている。 DNNを訓練するための現在の標準手順は、現在の学習重量を除いて、過去の時代の学習情報を全て捨てている。 この破棄された情報は本当に役に立たないのか? 廃棄された情報はその後の訓練に役立てることができると我々は主張する。 本稿では,過去の学習情報を利用してその後の学習を指導する振り返り学習(LWR)を提案する。 LWRは、追加のネットワークパラメータや推論コストを導入することなく、DNNの精度、キャリブレーション、堅牢性を改善するための、シンプルで効果的なトレーニングフレームワークである。 いくつかのベンチマークデータセットに対する大規模な実験は、DNNのトレーニングにおけるLWRの優位性を示している。

関連論文リスト

• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• zkDL: Efficient Zero-Knowledge Proofs of Deep Learning Training [6.993329554241878]
  ZkDLは、ディープラーニングトレーニングのための効率的なゼロ知識証明である。 zkReLUは、ReLU活性化とそのバックプロパゲーションの特別な証明である。 FAC4DNNはニューラルネットワークをモデル化する特殊な演算回路設計である。
  論文  参考訳（メタデータ） (2023-07-30T16:41:13Z)
• Transferring Learning Trajectories of Neural Networks [2.2299983745857896]
  深層ニューラルネットワーク(DNN)のトレーニングには計算コストがかかる。 我々は、与えられた学習軌跡を1つの初期パラメータから別のパラメータへ"転送する"という問題を定式化する。 移動パラメータが直接トレーニングの前に非自明な精度を達成できることを実証的に示し、スクラッチからトレーニングするよりもはるかに高速に訓練できることを実証した。
  論文  参考訳（メタデータ） (2023-05-23T14:46:32Z)
• Poster: Link between Bias, Node Sensitivity and Long-Tail Distribution in trained DNNs [12.404169549562523]
  長い尾の分布を持つトレーニングデータセットはディープニューラルネットワーク(DNN)に挑戦する この研究は、異なる出力クラスに対するノードの感度の変化につながるノードバイアスを特定する。 実世界のデータセットでトレーニングされたネットワークの実証的なケーススタディを用いて、推論を支援する。
  論文  参考訳（メタデータ） (2023-03-29T10:49:31Z)
• Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural Networks [12.525959293825318]
  我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。 LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。 トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
  論文  参考訳（メタデータ） (2023-03-18T16:45:54Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Reconstructing Training Data from Trained Neural Networks [42.60217236418818]
  いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。 本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:35:16Z)
• Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking [58.14267480293575]
  オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。 これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。 我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-28T06:51:18Z)
• RvS: What is Essential for Offline RL via Supervised Learning? [77.91045677562802]
  近年の研究では、時間差(TD)のない教師あり学習だけでオフラインRLに極めて効果的であることが示されている。 あらゆる環境スイートにおいて、2層フィードフォワードによる可能性の最大化は競争力がある。 彼らはまた、ランダムデータに対して比較的弱い既存のRvS法の限界を探索する。
  論文  参考訳（メタデータ） (2021-12-20T18:55:16Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。