論文の概要: Learning with Retrospection

• arxiv url: http://arxiv.org/abs/2012.13098v1
• Date: Thu, 24 Dec 2020 04:43:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 16:43:11.421780
• Title: Learning with Retrospection
• Title（参考訳）: 振り返って学ぶ
• Authors: Xiang Deng, Zhongfei Zhang
• Abstract要約: ディープニューラルネットワークのトレーニングの現在の標準手順は、現在の学習重みを除いて、過去の時代のすべての学習情報を破棄する。 本研究では,過去における学習情報を活用した振り返り学習(LWR)を提案し,その後のトレーニングを指導する。
• 参考スコア（独自算出の注目度）: 30.38128029453977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks have been successfully deployed in various domains of artificial intelligence, including computer vision and natural language processing. We observe that the current standard procedure for training DNNs discards all the learned information in the past epochs except the current learned weights. An interesting question is: is this discarded information indeed useless? We argue that the discarded information can benefit the subsequent training. In this paper, we propose learning with retrospection (LWR) which makes use of the learned information in the past epochs to guide the subsequent training. LWR is a simple yet effective training framework to improve accuracies, calibration, and robustness of DNNs without introducing any additional network parameters or inference cost, only with a negligible training overhead. Extensive experiments on several benchmark datasets demonstrate the superiority of LWR for training DNNs.
• Abstract（参考訳）: ディープニューラルネットワークは、コンピュータビジョンや自然言語処理など、人工知能のさまざまな領域でうまく展開されている。 DNNを訓練するための現在の標準手順は、現在の学習重量を除いて、過去の時代の学習情報を全て捨てている。 この破棄された情報は本当に役に立たないのか? 廃棄された情報はその後の訓練に役立てることができると我々は主張する。 本稿では,過去の学習情報を利用してその後の学習を指導する振り返り学習(LWR)を提案する。 LWRは、追加のネットワークパラメータや推論コストを導入することなく、DNNの精度、キャリブレーション、堅牢性を改善するための、シンプルで効果的なトレーニングフレームワークである。 いくつかのベンチマークデータセットに対する大規模な実験は、DNNのトレーニングにおけるLWRの優位性を示している。

関連論文リスト

• Reconstructing Training Data from Trained Neural Networks [42.60217236418818]
  いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。 本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:35:16Z)
• Explain to Not Forget: Defending Against Catastrophic Forgetting with XAI [10.374979214803805]
  破滅的な忘れは、ニューラルネットワークが新しい情報を与えられたときの過去の知識を完全に忘れてしまう現象を記述している。 我々は、ニューラルネットワークが新しいデータをトレーニングする際に、以前のタスクで既に学んだ情報を保持するために、レイヤーワイズ関連伝播を利用する、トレーニングと呼ばれる新しいトレーニングアルゴリズムを提案する。 我々の手法は、ニューラルネットワーク内の古いタスクの知識をうまく保持するだけでなく、他の最先端のソリューションよりもリソース効率が良い。
  論文  参考訳（メタデータ） (2022-05-04T08:00:49Z)
• Certified machine learning: A posteriori error estimation for physics-informed neural networks [0.0]
  PINNは、より小さなトレーニングセットに対して堅牢であることが知られ、より優れた一般化問題を導出し、より高速にトレーニングすることができる。 純粋にデータ駆動型ニューラルネットワークと比較してPINNを使うことは、トレーニング性能に好都合であるだけでなく、近似されたソリューションの品質に関する重要な情報を抽出できることを示す。
  論文  参考訳（メタデータ） (2022-03-31T14:23:04Z)
• BERT WEAVER: Using WEight AVERaging to Enable Lifelong Learning for Transformer-based Models [69.54942445850462]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• The Dual Form of Neural Networks Revisited: Connecting Test Time Predictions to Training Patterns via Spotlights of Attention [8.131130865777344]
  勾配降下によって訓練されたニューラルネットワーク(NN)の線形層は、キー値メモリシステムとして表現できる。 このような形でNNの運用を効果的に研究した以前の研究はない。 我々は,単一タスク,マルチタスク,連続的な学習環境において,小規模な教師付き画像分類タスクについて実験を行った。
  論文  参考訳（メタデータ） (2022-02-11T17:49:22Z)
• Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking [58.14267480293575]
  オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。 これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。 我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-28T06:51:18Z)
• RvS: What is Essential for Offline RL via Supervised Learning? [77.91045677562802]
  近年の研究では、時間差(TD)のない教師あり学習だけでオフラインRLに極めて効果的であることが示されている。 あらゆる環境スイートにおいて、2層フィードフォワードによる可能性の最大化は競争力がある。 彼らはまた、ランダムデータに対して比較的弱い既存のRvS法の限界を探索する。
  論文  参考訳（メタデータ） (2021-12-20T18:55:16Z)
• Training Deep Networks from Zero to Hero: avoiding pitfalls and going beyond [59.94347858883343]
  このチュートリアルでは、基本的なステップと、モデルを改善するためのより最近のオプションを取り上げている。 これは特に、課題のデータセットほど準備が不十分なデータセットで有用である。
  論文  参考訳（メタデータ） (2021-09-06T21:31:42Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Memorization and Generalization in Neural Code Intelligence Models [3.6245424131171813]
  我々は,ニューラルネットワークインテリジェンスモデルにおける記憶と一般化の傾向をケーススタディにより評価した。 私たちの結果は、トレーニングにおけるノイズの多いデータセットの影響に光を当てました。
  論文  参考訳（メタデータ） (2021-06-16T11:11:41Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。