論文の概要: A Study on Efficiency in Continual Learning Inspired by Human Learning

• arxiv url: http://arxiv.org/abs/2010.15187v1
• Date: Wed, 28 Oct 2020 19:11:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 04:46:40.365968
• Title: A Study on Efficiency in Continual Learning Inspired by Human Learning
• Title（参考訳）: 人間の学習に触発された連続学習の効率性に関する研究
• Authors: Philip J. Ball, Yingzhen Li, Angus Lamb, Cheng Zhang
• Abstract要約: 本研究では,人間の学習からインスピレーションを得て,連続学習システムの効率性について検討する。 特に睡眠のメカニズムに触発されて,一般的なプルーニングに基づく連続学習アルゴリズムを評価した。
• 参考スコア（独自算出の注目度）: 24.78879710005838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans are efficient continual learning systems; we continually learn new skills from birth with finite cells and resources. Our learning is highly optimized both in terms of capacity and time while not suffering from catastrophic forgetting. In this work we study the efficiency of continual learning systems, taking inspiration from human learning. In particular, inspired by the mechanisms of sleep, we evaluate popular pruning-based continual learning algorithms, using PackNet as a case study. First, we identify that weight freezing, which is used in continual learning without biological justification, can result in over $2\times$ as many weights being used for a given level of performance. Secondly, we note the similarity in human day and night time behaviors to the training and pruning phases respectively of PackNet. We study a setting where the pruning phase is given a time budget, and identify connections between iterative pruning and multiple sleep cycles in humans. We show there exists an optimal choice of iteration v.s. epochs given different tasks.
• Abstract（参考訳）: 人間は効率的な連続学習システムであり、有限の細胞と資源で誕生から新しいスキルを継続的に学習する。 私たちの学習は容量と時間の両面で高度に最適化されています。 本研究では,人間の学習からインスピレーションを得て,継続学習システムの効率性を検討する。 特に,睡眠のメカニズムに着想を得て,packnetをケーススタディとして活用し,プルーニングに基づく連続学習アルゴリズムを評価した。 まず,生物の正当性のない連続的な学習で用いられる体重凍結は,与えられた性能のレベルに使用される重量の2ドル以上となる可能性があることを確かめる。 第2に,PackNetのトレーニング・プルーニング・フェーズとヒトの昼夜行動と夜間行動の類似点について述べる。 本研究では,刈り込み段階に時間的予算が与えられる環境について検討し,反復刈り込みと複数の睡眠サイクルの関連性を明らかにする。 異なるタスクを与えられた反復対エポックの最適選択が存在することを示す。

関連論文リスト

• SPIRE: Synergistic Planning, Imitation, and Reinforcement Learning for Long-Horizon Manipulation [58.14969377419633]
  タスクをより小さな学習サブプロブレムに分解し、第2に模倣と強化学習を組み合わせてその強みを最大化するシステムであるspireを提案する。 我々は、模倣学習、強化学習、計画を統合する従来の手法よりも平均タスク性能が35%から50%向上していることを発見した。
  論文  参考訳（メタデータ） (2024-10-23T17:42:07Z)
• Continual Learning of Numerous Tasks from Long-tail Distributions [17.706669222987273]
  継続的な学習は、以前獲得した知識を維持しながら、新しいタスクを学習し、適応するモデルの開発に焦点を当てる。 既存の連続学習アルゴリズムは、通常、一定の大きさの少数のタスクを伴い、現実世界の学習シナリオを正確に表現しないことがある。 本稿では,従来のタスクから第2モーメントの重み付け平均を維持することで,アダムの状態を再利用する手法を提案する。 提案手法は,既存のほとんどの連続学習アルゴリズムと互換性があり,少ない計算量やメモリコストで忘れを効果的に削減できることを実証する。
  論文  参考訳（メタデータ） (2024-04-03T13:56:33Z)
• How Efficient Are Today's Continual Learning Algorithms? [31.120016345185217]
  監視された継続学習では、ラベル付きデータのストリームからディープニューラルネットワーク(DNN)を更新する。 継続的学習の背景にある大きな動機の1つは、時間とともに成長するにつれてトレーニングデータセットをスクラッチからリトレーニングするのではなく、ネットワークを新しい情報で効率的に更新できることだ。 本稿では,近年のインクリメンタルなクラス学習手法について検討し,計算,メモリ,記憶の面では非常に非効率であることを示す。
  論文  参考訳（メタデータ） (2023-03-29T18:52:10Z)
• Classifying Human Activities using Machine Learning and Deep Learning Techniques [0.0]
  HAR(Human Activity Recognition)は、人間の行動を認識する機械。 HARの課題は、与えられたデータに基づいて人間の活動を分離することの難しさを克服することである。 Long Short-Term Memory(LSTM)、Bi-Directional LS分類器、Recurrent Neural Network(RNN)、Gated Recurrent Unit(GRU)といったディープラーニング技術がトレーニングされている。 実験の結果、機械学習における線形サポートベクトルとディープラーニングにおけるGated Recurrent Unitが、人間の活動認識により良い精度を提供することがわかった。
  論文  参考訳（メタデータ） (2022-05-19T05:20:04Z)
• Memory Bounds for Continual Learning [13.734474418577188]
  継続的学習(Continuous learning)、すなわち生涯学習(Lifelong learning)は、機械学習にとって、現在非常に困難な課題である。 我々は,不適切な学習者であっても,$k$で線形に成長するメモリを必要とすることを示すために,コミュニケーションの複雑さを新たに活用する。
  論文  参考訳（メタデータ） (2022-04-22T17:19:50Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Large-scale randomized experiment reveals machine learning helps people learn and remember more effectively [14.305363222114543]
  私たちは、人々が現実の素材を学習し記憶する方法を改善するために、機械学習の可能性を明らかにすることに重点を置いています。 我々は,モビリティ分野の人気のある学習アプリから,何千人もの学習者を対象に,大規模ランダム化制御試験を実施している。
  論文  参考訳（メタデータ） (2020-10-09T08:30:15Z)
• Hierarchical Affordance Discovery using Intrinsic Motivation [69.9674326582747]
  本研究では,移動ロボットの価格学習を支援するために,本質的なモチベーションを用いたアルゴリズムを提案する。 このアルゴリズムは、事前にプログラムされたアクションなしで、相互に関連のある価格を自律的に発見し、学習し、適応することができる。 一度学習すると、これらの余裕はアルゴリズムによって様々な困難を伴うタスクを実行するために一連のアクションを計画するために使われる。
  論文  参考訳（メタデータ） (2020-09-23T07:18:21Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• Drinking from a Firehose: Continual Learning with Web-scale Natural Language [109.80198763438248]
  大規模に連続学習を行う自然環境について検討する。 Twitterの投稿の膨大なデータセットを集めています。 前例のない規模で連続学習アルゴリズムの厳密な評価を行う。
  論文  参考訳（メタデータ） (2020-07-18T05:40:02Z)
• Self-supervised Knowledge Distillation for Few-shot Learning [123.10294801296926]
  少数のサンプルだけで秩序分布から素早く学習できるため、ショットラーニングは有望な学習パラダイムである。 数ショットの学習タスクにおいて,深層ニューラルネットワークの表現能力を向上させるための簡単な手法を提案する。 実験により、第一段階においても、自己超越は現在の最先端手法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-17T11:27:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。