論文の概要: Augmenting Supervised Learning by Meta-learning Unsupervised Local Rules

• arxiv url: http://arxiv.org/abs/2103.10252v1
• Date: Wed, 17 Mar 2021 05:25:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-19 14:11:16.582968
• Title: Augmenting Supervised Learning by Meta-learning Unsupervised Local Rules
• Title（参考訳）: メタラーニングによる教師なしローカルルールの強化
• Authors: Jeffrey Cheng, Ari Benjamin, Benjamin Lansdell, Konrad Paul Kordin
• Abstract要約: Hebbian-augmented Training Algorithm (HAT) は、勾配に基づく学習と、シナプス前活動、シナプス後活動、電流重みに関する教師なしの規則を組み合わせる。 シナプス活動の教師なし学習は,勾配に基づく手法の強化に使用できる強いシグナルを与えることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The brain performs unsupervised learning and (perhaps) simultaneous supervised learning. This raises the question as to whether a hybrid of supervised and unsupervised methods will produce better learning. Inspired by the rich space of Hebbian learning rules, we set out to directly learn the unsupervised learning rule on local information that best augments a supervised signal. We present the Hebbian-augmented training algorithm (HAT) for combining gradient-based learning with an unsupervised rule on pre-synpatic activity, post-synaptic activities, and current weights. We test HAT's effect on a simple problem (Fashion-MNIST) and find consistently higher performance than supervised learning alone. This finding provides empirical evidence that unsupervised learning on synaptic activities provides a strong signal that can be used to augment gradient-based methods. We further find that the meta-learned update rule is a time-varying function; thus, it is difficult to pinpoint an interpretable Hebbian update rule that aids in training. We do find that the meta-learner eventually degenerates into a non-Hebbian rule that preserves important weights so as not to disturb the learner's convergence.
• Abstract（参考訳）: 脳は教師なし学習と(おそらく)教師なし学習を同時に行う。 これにより、教師なしメソッドと教師なしメソッドのハイブリッドがより良い学習をもたらすかどうかという疑問が持ち上がる。 ヘビアン学習規則の豊かな空間に触発され、教師なし学習規則を直接学習し、教師付き信号を最も強化するローカル情報について学習した。 本稿では,前シナプス活動,後シナプス活動,現在の重み付けに対する教師なしルールと勾配に基づく学習を組み合わせるためのhebbian-augmented training algorithm (hat)を提案する。 簡単な問題(Fashion-MNIST)に対するHATの効果を検証し,教師付き学習よりも一貫して高い性能を示す。 この発見は、教師なしのシナプス活動の学習が、勾配に基づく手法の強化に使用できる強いシグナルを与えるという実証的な証拠を提供する。 さらに,メタ学習更新規則は時間変化関数であるため,学習を支援する解釈可能なヘビアン更新規則を特定することは困難である。 メタラーナーは最終的に、学習者の収束を妨げないように重要な重みを保存する非ヘビーンの規則へと退化する。

関連論文リスト

• Efficient Offline Reinforcement Learning: The Critic is Critical [5.916429671763282]
  オフ・ポリシー強化学習は、教師付きアプローチを超えてパフォーマンスを改善するための有望なアプローチを提供する。 本稿では、まず行動方針を学習し、教師付き学習で批判し、その後に非政治強化学習で改善することによるベスト・オブ・ボス・アプローチを提案する。
  論文  参考訳（メタデータ） (2024-06-19T09:16:38Z)
• Domain-Aware Augmentations for Unsupervised Online General Continual Learning [7.145581090959242]
  本稿では、教師なしオンライン総合学習(UOGCL)におけるコントラスト学習のためのメモリ使用量を改善する新しい手法を提案する。 提案手法は単純だが有効であり, 従来の非教師なし手法に比べ, 最新の結果が得られる。 ドメインを意識した拡張手順は他のリプレイ方式にも適用可能であり、継続的な学習には有望な戦略である。
  論文  参考訳（メタデータ） (2023-09-13T11:45:21Z)
• HaLP: Hallucinating Latent Positives for Skeleton-based Self-Supervised Learning of Actions [69.14257241250046]
  ラベルなしの骨格に基づく行動認識のためのモデル学習のための新しいコントラスト学習手法を提案する。 私たちの重要な貢献は、単純なモジュールであるHalucinate Latent Positivesのコントラスト学習へのHalucinate HaLPです。 実験を通して、標準のコントラスト学習フレームワーク内でこれらの生成した正を使用すれば、一貫した改善がもたらされることを示す。
  論文  参考訳（メタデータ） (2023-04-01T21:09:43Z)
• Progressive Stage-wise Learning for Unsupervised Feature Representation Enhancement [83.49553735348577]
  教師なし学習のためのプログレッシブ・ステージ・ワイド・ラーニング(PSL)フレームワークを提案する。 実験の結果,PSLは教師なしの指導方法の学習結果を継続的に改善することがわかった。
  論文  参考訳（メタデータ） (2021-06-10T07:33:19Z)
• Simplifying Deep Reinforcement Learning via Self-Supervision [51.2400839966489]
  自己改善強化学習(Self-Supervised Reinforcement Learning, SSRL)は、純粋に監督された損失を伴うポリシーを最適化する単純なアルゴリズムである。 SSRLは、より安定した性能と実行時間の少ない現代アルゴリズムと驚くほど競合することを示す。
  論文  参考訳（メタデータ） (2021-06-10T06:29:59Z)
• Augmenting Policy Learning with Routines Discovered from a Demonstration [86.9307760606403]
  日常的な政策学習(RAPL)を提案する。 RAPLは1つのデモから原始的なアクションからなるルーチンを発見する。 RAPLが最先端の模倣学習方法SQILと強化学習方法A2Cを改善することを示した。
  論文  参考訳（メタデータ） (2020-12-23T03:15:21Z)
• Testing the Genomic Bottleneck Hypothesis in Hebbian Meta-Learning [11.416394411512686]
  Hebbianメタラーニングは、最近、ハード強化学習問題を解決することを約束している。 これらのアプローチの各シナプスは、非常に特定の学習規則を学習できるため、非常に異なる状況に一般化する能力は減少する可能性が高い。 我々は、ヘビアン学習規則の数を「ゲノムボトルネック」によって制限することは、正規化要因として機能する可能性があると仮定する。
  論文  参考訳（メタデータ） (2020-11-13T08:49:15Z)
• Local plasticity rules can learn deep representations using self-supervised contrastive predictions [3.6868085124383616]
  生物学的制約を尊重するが、深い階層的な表現をもたらす学習規則はまだ不明である。 本稿では,神経科学からインスピレーションを得た学習ルールを提案し,近年の自己教師型深層学習の進歩について述べる。 この自己監督的かつ局所的なルールで訓練されたネットワークは、画像、音声、ビデオの深い階層的表現を構築する。
  論文  参考訳（メタデータ） (2020-10-16T09:32:35Z)
• Unsupervised Deep Representation Learning for Real-Time Tracking [137.69689503237893]
  視覚追跡のための教師なし学習手法を提案する。 教師なし学習の動機は、ロバストなトラッカーが双方向トラッキングに有効であるべきだということです。 我々は,シームズ相関フィルタネットワーク上にフレームワークを構築し,教師なし学習を容易にするために,多フレーム検証方式とコスト感受性損失を提案する。
  論文  参考訳（メタデータ） (2020-07-22T08:23:12Z)
• Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need? [72.00712736992618]
  メタトレーニングセット上で教師付きあるいは自己教師型表現を学習する単純なベースラインが、最先端の数ショット学習方法より優れていることを示す。 追加の増量は自己蒸留によって達成できる。 我々は,この発見が,画像分類ベンチマークとメタ学習アルゴリズムの役割を再考する動機となっていると考えている。
  論文  参考訳（メタデータ） (2020-03-25T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。