論文の概要: Testing the Genomic Bottleneck Hypothesis in Hebbian Meta-Learning

• arxiv url: http://arxiv.org/abs/2011.06811v2
• Date: Wed, 23 Jun 2021 09:14:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-25 23:44:26.739921
• Title: Testing the Genomic Bottleneck Hypothesis in Hebbian Meta-Learning
• Title（参考訳）: hebbian meta-learningにおけるゲノムボトルネック仮説の検証
• Authors: Rasmus Berg Palm, Elias Najarro, Sebastian Risi
• Abstract要約: Hebbianメタラーニングは、最近、ハード強化学習問題を解決することを約束している。 これらのアプローチの各シナプスは、非常に特定の学習規則を学習できるため、非常に異なる状況に一般化する能力は減少する可能性が高い。 我々は、ヘビアン学習規則の数を「ゲノムボトルネック」によって制限することは、正規化要因として機能する可能性があると仮定する。
• 参考スコア（独自算出の注目度）: 11.416394411512686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hebbian meta-learning has recently shown promise to solve hard reinforcement learning problems, allowing agents to adapt to some degree to changes in the environment. However, because each synapse in these approaches can learn a very specific learning rule, the ability to generalize to very different situations is likely reduced. We hypothesize that limiting the number of Hebbian learning rules through a "genomic bottleneck" can act as a regularizer leading to better generalization across changes to the environment. We test this hypothesis by decoupling the number of Hebbian learning rules from the number of synapses and systematically varying the number of Hebbian learning rules. The results in this paper suggest that simultaneously learning the Hebbian learning rules and their assignment to synapses is a difficult optimization problem, leading to poor performance in the environments tested. However, parallel research to ours finds that it is indeed possible to reduce the number of learning rules by clustering similar rules together. How to best implement a "genomic bottleneck" algorithm is thus an important research direction that warrants further investigation.
• Abstract（参考訳）: hebbian meta-learningは最近、厳しい強化学習問題を解決する約束を示しており、エージェントが環境の変化にある程度適応できるようにしている。 しかしながら、これらの手法のシナプスは、非常に特定の学習規則を学習できるため、非常に異なる状況に一般化する能力は減少する可能性が高い。 我々は、ヘビアン学習規則の数を「ゲノムボトルネック」によって制限することは、環境の変化をまたいだより良い一般化につながると仮定する。 本仮説は,ヘッブの学習規則数をシナプス数から分離し,体系的にヘッブの学習規則の数を変化させることで検証する。 本稿では,ヘビアン学習規則の同時学習とシナプスへの割り当てが困難な最適化問題であり,テスト環境における性能の低下につながることを示唆する。 しかし,並列研究の結果,類似したルールをクラスタ化することで,学習ルールの数を減らすことが可能であることが判明した。 ゲノムボトルネック」アルゴリズムを最もうまく実装する方法は、さらなる調査を保証する重要な研究方向である。

関連論文リスト

• Learning where to learn: Gradient sparsity in meta and continual learning [4.845285139609619]
  学習アルゴリズムがどの重みを変えるかを決定することによって、メタ学習を改善することができることを示す。 このプロセスからパターン化されたスパーシリティが出現し、そのパターンは問題ごとの確率に基づいて変化する。 その結果、メタ学習が適応可能な特徴を発見できるかどうかの議論が進行中であり、疎勾配降下による学習がメタ学習システムにとって強力な帰納的バイアスであることを示唆している。
  論文  参考訳（メタデータ） (2021-10-27T12:54:36Z)
• Learning an Explicit Hyperparameter Prediction Function Conditioned on Tasks [62.63852372239708]
  メタ学習は、観察されたタスクから機械学習の学習方法論を学び、新しいクエリタスクに一般化することを目的としている。 我々は、これらの学習手法を、全てのトレーニングタスクで共有される明示的なハイパーパラメータ予測関数の学習として解釈する。 このような設定は、メタ学習方法論が多様なクエリタスクに柔軟に適合できることを保証する。
  論文  参考訳（メタデータ） (2021-07-06T04:05:08Z)
• MetaKernel: Learning Variational Random Features with Limited Labels [120.90737681252594]
  少数の注釈付きサンプルから学習し、新しいタスクでうまく一般化できるという根本的かつ困難な問題に、少数のショットラーニングが対処します。 マルチショット学習のためのランダムなフーリエ機能を備えたメタラーニングカーネルをMeta Kernelと呼びます。
  論文  参考訳（メタデータ） (2021-05-08T21:24:09Z)
• Evolving and Merging Hebbian Learning Rules: Increasing Generalization by Decreasing the Number of Rules [9.387749254963595]
  訓練後のアウト・オブ・ディストリビューション状況への一般化は、人工エージェントにとって依然として課題である。 我々はヘビアン学習ルールの集合を進化させ、複数の接続を1つのルールに割り当てる。 ネットワーク内の複数の接続が同じローカル学習ルールを共有することで、トレーニング可能なパラメータの数を劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2021-04-16T08:24:19Z)
• Augmenting Supervised Learning by Meta-learning Unsupervised Local Rules [0.0]
  Hebbian-augmented Training Algorithm (HAT) は、勾配に基づく学習と、シナプス前活動、シナプス後活動、電流重みに関する教師なしの規則を組み合わせる。 シナプス活動の教師なし学習は,勾配に基づく手法の強化に使用できる強いシグナルを与えることが示された。
  論文  参考訳（メタデータ） (2021-03-17T05:25:21Z)
• Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
  従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。 メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。 これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-14T18:05:24Z)
• Identifying Learning Rules From Neural Network Observables [26.96375335939315]
  学習ルールの異なるクラスは、重み、アクティベーション、即時的な階層的活動変化の集計統計に基づいてのみ分離可能であることを示す。 本研究は, シナプス後活動の電気生理学的記録から得られる活性化パターンが, 学習規則の同定に有効であることを示すものである。
  論文  参考訳（メタデータ） (2020-10-22T14:36:54Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)
• Regularizing Meta-Learning via Gradient Dropout [102.29924160341572]
  メタ学習モデルは、メタ学習者が一般化するのに十分なトレーニングタスクがない場合、過度に適合する傾向がある。 本稿では,勾配に基づくメタ学習において過度に適合するリスクを軽減するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-04-13T10:47:02Z)
• Bayesian Meta-Prior Learning Using Empirical Bayes [3.666114237131823]
  本稿では,情報的事前の欠如とパラメータ学習率の制御能力に対処する階層的経験ベイズ手法を提案する。 本手法は,データ自体から経験的メタプライヤを学習し,その学習率を1次および2次の特徴の分離に利用する。 スパースデータの最適化は、しばしば課題となるため、私たちの発見は有望です。
  論文  参考訳（メタデータ） (2020-02-04T05:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。