論文の概要: Rethinking supervised learning: insights from biological learning and
from calling it by its name
- arxiv url: http://arxiv.org/abs/2012.02526v1
- Date: Fri, 4 Dec 2020 11:13:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-22 20:48:19.959068
- Title: Rethinking supervised learning: insights from biological learning and
from calling it by its name
- Title(参考訳): 教師付き学習の再検討: 生物学習からその名前で呼ぶことへの洞察
- Authors: Alex Hernandez-Garcia
- Abstract要約: 我々は、自然界における学習と監督に関する洞察を再考し、学習が監督なしでは不可能であるという考えを再考し、単にその名前で呼ぶだけでは、より良い進歩を期待する。
- 参考スコア(独自算出の注目度): 2.123756175601459
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The renaissance of artificial neural networks was catalysed by the success of
classification models, tagged by the community with the broader term supervised
learning. The extraordinary results gave rise to a hype loaded with ambitious
promises and overstatements. Soon the community realised that the success owed
much to the availability of thousands of labelled examples. And supervised
learning went, for many, from glory to shame. Some criticised deep learning as
a whole and others proclaimed that the way forward had to be "alternatives" to
supervised learning: predictive, unsupervised, semi-supervised and, more
recently, self-supervised learning. However, these seem all brand names, rather
than actual categories of a theoretically grounded taxonomy. Moreover, the call
to banish supervised learning was motivated by the questionable claim that
humans learn with little or no supervision. Here, we review insights about
learning and supervision in nature, revisit the notion that learning is not
possible without supervision and argue that we will make better progress if we
just call it by its name.
- Abstract(参考訳): ニューラルネットワークのルネッサンスは、より広い用語の教師付き学習でコミュニティによってタグ付けされた分類モデルの成功によって触媒された。
並外れた結果は、野心的な約束と過度に満ちた誇大宣伝を引き起こした。
コミュニティはすぐに、この成功は何千ものラベル付きサンプルが利用可能になったことによるものだと気付いた。
監督された学習は 多くが栄光から恥へと変わりました
ディープ・ラーニングを全体として批判する者もいれば、予測、教師なし、半監督、さらに最近では自己監督型ラーニングといった教師付きラーニングの方法が「代替的」でなければならないと宣言する者もいた。
しかし、これらは理論的に根拠のある分類の実際の分類ではなく、すべてブランド名に思える。
さらに、教師付き学習を追放するという呼びかけは、人間がほとんどあるいは全く監督せずに学ぶという疑わしい主張によって動機づけられた。
ここでは,自然の学習と監督に関する洞察をレビューし,学習は監督なしでは不可能であるという考えを再検討し,単にその名前で呼ぶだけでは,よりよい進歩が期待できると論じる。
関連論文リスト
- Activation Learning by Local Competitions [4.441866681085516]
我々は,神経細胞間の局所的な競合によって特徴を見出す,生物学に着想を得た学習ルールを開発した。
この局所学習規則によって学習された教師なし特徴が事前学習モデルとして機能することが実証された。
論文 参考訳(メタデータ) (2022-09-26T10:43:29Z) - Discriminative Distillation to Reduce Class Confusion in Continual
Learning [57.715862676788156]
クラス混乱は、連続学習における分類性能の低下に寄与する。
本稿では,クラス間の識別的特徴を適切に学習する上で,識別的蒸留戦略を提案する。
論文 参考訳(メタデータ) (2021-08-11T12:46:43Z) - Progressive Stage-wise Learning for Unsupervised Feature Representation
Enhancement [83.49553735348577]
教師なし学習のためのプログレッシブ・ステージ・ワイド・ラーニング(PSL)フレームワークを提案する。
実験の結果,PSLは教師なしの指導方法の学習結果を継続的に改善することがわかった。
論文 参考訳(メタデータ) (2021-06-10T07:33:19Z) - Augmenting Supervised Learning by Meta-learning Unsupervised Local Rules [0.0]
Hebbian-augmented Training Algorithm (HAT) は、勾配に基づく学習と、シナプス前活動、シナプス後活動、電流重みに関する教師なしの規則を組み合わせる。
シナプス活動の教師なし学習は,勾配に基づく手法の強化に使用できる強いシグナルを与えることが示された。
論文 参考訳(メタデータ) (2021-03-17T05:25:21Z) - How Well Do Self-Supervised Models Transfer? [92.16372657233394]
我々は、40の下流タスクにおいて、トップ13の自己教師型モデルの転送性能を評価する。
ImageNet Top-1の精度は、マルチショット認識への転送と非常に相関している。
全体としては、単一の自己監督的手法が支配的ではなく、普遍的な事前訓練がまだ未解決であることを示唆している。
論文 参考訳(メタデータ) (2020-11-26T16:38:39Z) - Can Semantic Labels Assist Self-Supervised Visual Representation
Learning? [194.1681088693248]
近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。
一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。
本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
論文 参考訳(メタデータ) (2020-11-17T13:25:00Z) - Local plasticity rules can learn deep representations using
self-supervised contrastive predictions [3.6868085124383616]
生物学的制約を尊重するが、深い階層的な表現をもたらす学習規則はまだ不明である。
本稿では,神経科学からインスピレーションを得た学習ルールを提案し,近年の自己教師型深層学習の進歩について述べる。
この自己監督的かつ局所的なルールで訓練されたネットワークは、画像、音声、ビデオの深い階層的表現を構築する。
論文 参考訳(メタデータ) (2020-10-16T09:32:35Z) - LaND: Learning to Navigate from Disengagements [158.6392333480079]
本研究では,学習者に対する学習支援のための強化学習手法(LaND)を提案する。
LaNDは現在の知覚的観察から、どのアクションが解離につながるかを予測するニューラルネットワークモデルを学び、テスト時計画で解離を回避するアクションを実行する。
以上の結果から,LaNDは多種多様な現実世界の歩道環境を学習し,模倣学習と強化学習の両方に優れることを示した。
論文 参考訳(メタデータ) (2020-10-09T17:21:42Z) - The Next Big Thing(s) in Unsupervised Machine Learning: Five Lessons
from Infant Learning [2.9005223064604078]
我々は、幼児認知の発達科学が、次世代の教師なし学習アプローチの鍵を握るかもしれないと主張している。
ヒトの幼児の学習は、人工的な教師なし学習と最も平行な生物学的な学習であり、幼児もまた、未学習のデータから有用な表現を学ばなければならない。
幼児の学習の質と速さを実現する5つの重要な要因を特定し、これらがすでに機械学習で活用されている範囲を評価し、これらの要因のさらなる採用が、教師なし学習におけるこれまで見られなかったパフォーマンスレベルをいかに引き起こすかを提案する。
論文 参考訳(メタデータ) (2020-09-17T18:47:06Z) - Self-supervised Knowledge Distillation for Few-shot Learning [123.10294801296926]
少数のサンプルだけで秩序分布から素早く学習できるため、ショットラーニングは有望な学習パラダイムである。
数ショットの学習タスクにおいて,深層ニューラルネットワークの表現能力を向上させるための簡単な手法を提案する。
実験により、第一段階においても、自己超越は現在の最先端手法より優れていることが示された。
論文 参考訳(メタデータ) (2020-06-17T11:27:00Z) - Self-supervised Learning: Generative or Contrastive [16.326494162366973]
自己指導型学習は近年,表現型学習の性能向上に寄与している。
我々は、コンピュータビジョン、自然言語処理、グラフ学習における表現のための新しい自己教師付き学習手法について検討する。
論文 参考訳(メタデータ) (2020-06-15T08:40:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。