Fugu-MT 論文翻訳(概要): Lazy learning: a biologically-inspired plasticity rule for fast and energy efficient synaptic plasticity

論文の概要: Lazy learning: a biologically-inspired plasticity rule for fast and energy efficient synaptic plasticity

arxiv url: http://arxiv.org/abs/2303.16067v1
Date: Sun, 26 Mar 2023 16:17:04 GMT
ステータス: 処理完了
システム内更新日: 2023-03-29 14:41:20.224303
Title: Lazy learning: a biologically-inspired plasticity rule for fast and energy efficient synaptic plasticity
Title（参考訳）: Lazy Learning:高速でエネルギー効率の良いシナプス可塑性のための生物学的に着想を得た可塑性規則
Authors: Aaron Pache and Mark CW van Rossum
Abstract要約: 間違ったサンプルのみを学習する遅延学習を導入する。遅延学習は最先端のパフォーマンスを実現し、データセットが大きい場合には特に適している。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: When training neural networks for classification tasks with backpropagation, parameters are updated on every trial, even if the sample is classified correctly. In contrast, humans concentrate their learning effort on errors. Inspired by human learning, we introduce lazy learning, which only learns on incorrect samples. Lazy learning can be implemented in a few lines of code and requires no hyperparameter tuning. Lazy learning achieves state-of-the-art performance and is particularly suited when datasets are large. For instance, it reaches 99.2% test accuracy on Extended MNIST using a single-layer MLP, and does so 7.6x faster than a matched backprop network
Abstract（参考訳）: バックプロパゲーションを伴う分類タスクのためのニューラルネットワークのトレーニングでは、サンプルが正しく分類されたとしても、試験毎にパラメータが更新される。対照的に、人間は学習努力を誤りに集中する。人間の学習に触発されて,不正確なサンプルからのみ学習する遅延学習を導入する。遅延学習は数行のコードで実装でき、ハイパーパラメータチューニングを必要としない。遅延学習は最先端のパフォーマンスを実現し、データセットが大きい場合には特に適している。例えば、単一の層MLPを使用して拡張MNISTの99.2%のテスト精度に達し、マッチしたバックプロップネットワークよりも7.6倍高速になる。

関連論文リスト

Evolutionary Retrofitting [42.21143557577615]
AfterLearnERは、完全に訓練された機械学習モデルに進化的手法を含む、微分不可能な最適化を適用することで構成される。 AfterLearnERの効率は、奥行き検知におけるしきい値に基づく基準、音声合成における単語誤り率、3次元生成逆数ネットワーク(GAN)における画像品質といった、識別不能な信号に対処することによって実証される。 AfterLearnERの利点は、その汎用性(グラデーションは必要ない)、人間の評価、限定的なオーバーフィッティング、理論的な研究、そしてその常に振舞いなど、微分不可能なフィードバックを使用することである。
論文参考訳（メタデータ） (2024-10-15T06:59:32Z)
Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文参考訳（メタデータ） (2024-06-17T12:24:45Z)
ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文参考訳（メタデータ） (2023-04-07T23:51:07Z)
LegoNet: A Fast and Exact Unlearning Architecture [59.49058450583149]
機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
論文参考訳（メタデータ） (2022-10-28T09:53:05Z)
Can Bad Teaching Induce Forgetting? Unlearning in Deep Networks using an Incompetent Teacher [6.884272840652062]
そこで本研究では,学習者・教師の知能・能力に乏しい教師を学習者・教師の枠組みで探究し,忘れがちさを誘発する手法を提案する。有能で無能な教師からの知識は、学生に選択的に伝達され、忘れデータに関する情報を含まないモデルが得られる。ゼロ・ナッシング(ZRF)メトリクスを導入し、未学習の手法を評価する。
論文参考訳（メタデータ） (2022-05-17T05:13:17Z)
Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文参考訳（メタデータ） (2022-05-11T17:10:41Z)
Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文参考訳（メタデータ） (2022-02-21T13:25:03Z)
How to fine-tune deep neural networks in few-shot learning? [2.0077237398506536]
深層モデルの微調整は単純で効果的な数ショット学習法である。実験結果から深部モデルを微調整する方法を考察する。
論文参考訳（メタデータ） (2020-12-01T01:20:59Z)
RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文参考訳（メタデータ） (2020-07-07T11:27:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。