論文の概要: Is Bio-Inspired Learning Better than Backprop? Benchmarking Bio Learning
vs. Backprop
- arxiv url: http://arxiv.org/abs/2212.04614v1
- Date: Fri, 9 Dec 2022 00:43:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-12 15:38:29.885835
- Title: Is Bio-Inspired Learning Better than Backprop? Benchmarking Bio Learning
vs. Backprop
- Title(参考訳): バイオインスパイア学習はバックプロップより優れているか?
バイオラーニングとバックプロップの比較
- Authors: Manas Gupta, Sarthak Ketanbhai Modi, Hang Zhang, Joon Hei Lee, Joo
Hwee Lim
- Abstract要約: BPと複数のバイオインスパイアされたアルゴリズムの総合比較を行った。
BPに対するバイオアルゴリズムの重要な利点は2つある。
5つのBio-algorithmのうち4つは、トレーニングデータセットの20%しか利用できない場合、BPを最大5%精度で上回った。
- 参考スコア(独自算出の注目度): 11.698441785455318
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Bio-inspired learning has been gaining popularity recently given that
Backpropagation (BP) is not considered biologically plausible. Many algorithms
have been proposed in the literature which are all more biologically plausible
than BP. However, apart from overcoming the biological implausibility of BP, a
strong motivation for using Bio-inspired algorithms remains lacking. In this
study, we undertake a holistic comparison of BP vs. multiple Bio-inspired
algorithms to answer the question of whether Bio-learning offers additional
benefits over BP, rather than just biological plausibility. We test
Bio-algorithms under different design choices such as access to only partial
training data, resource constraints in terms of the number of training epochs,
sparsification of the neural network parameters and addition of noise to input
samples. Through these experiments, we notably find two key advantages of
Bio-algorithms over BP. Firstly, Bio-algorithms perform much better than BP
when the entire training dataset is not supplied. Four of the five
Bio-algorithms tested outperform BP by upto 5% accuracy when only 20% of the
training dataset is available. Secondly, even when the full dataset is
available, Bio-algorithms learn much quicker and converge to a stable accuracy
in far lesser training epochs than BP. Hebbian learning, specifically, is able
to learn in just 5 epochs compared to around 100 epochs required by BP. These
insights present practical reasons for utilising Bio-learning rather than just
its biological plausibility and also point towards interesting new directions
for future work on Bio-learning.
- Abstract(参考訳): 近年,バックプロパゲーション(bp)が生物学的に有望ではないことから,バイオインスパイアされた学習が普及している。
BPよりも生物学的に妥当な多くのアルゴリズムが文献で提案されている。
しかし、BPの生物学的不確実性を克服する以外に、バイオインスパイアされたアルゴリズムを使用する強い動機が欠けている。
本研究では,BP と複数のバイオインスパイアされたアルゴリズムを総合的に比較し,バイオラーニングが生物的妥当性だけでなく,BP に付加的なメリットをもたらすかどうかを問う。
我々は,部分的なトレーニングデータのみへのアクセス,トレーニング回数の制約,ニューラルネットワークパラメータのスパース化,入力サンプルへのノイズの追加など,さまざまな設計選択の下でバイオアルゴリズムをテストする。
これらの実験により, BP に対するバイオアルゴリズムの2つの重要な利点が明らかとなった。
まず、トレーニングデータセット全体が提供されない場合、バイオアルゴリズムはBPよりもはるかに優れている。
5つのBio-algorithmのうち4つは、トレーニングデータセットの20%しか利用できない場合、BPを最大5%精度で上回った。
第二に、完全なデータセットが利用可能である場合でも、バイオアルゴリズムはより早く学習し、BPよりもはるかに少ないトレーニングエポックにおいて安定した精度に収束する。
特にヘビー学習は、bpが要求する約100エポックに対して、わずか5エポックで学習することができる。
これらの知見は、生物学的な可能性だけでなく、バイオラーニングを活用するための実践的な理由を示し、バイオラーニングの今後の研究のための興味深い新しい方向性を示唆する。
関連論文リスト
- BioT5+: Towards Generalized Biological Understanding with IUPAC
Integration and Multi-task Tuning [80.83209995941576]
本稿では,BioT5フレームワークの拡張であるBioT5+を紹介する。
BioT5+ には、分子理解のための IUPAC 名の統合、bioRxiv や PubChem などのソースからの広範なバイオテキストと分子データの統合、タスク間の汎用性のためのマルチタスク命令チューニング、数値データの処理を改善するための新しい数値トークン化技術など、いくつかの新しい特徴が含まれている。
論文 参考訳(メタデータ) (2024-02-27T12:43:09Z) - Predicting ATP binding sites in protein sequences using Deep Learning
and Natural Language Processing [0.0]
本稿ではATP-Protein結合部位の分類法を提案する。
主にPSSMといくつかの単語埋め込みを特徴として用いた各種実験を行った。
実験の結果は,最先端のベンチマークよりも改善が見られた。
論文 参考訳(メタデータ) (2024-02-02T18:42:39Z) - BioT5: Enriching Cross-modal Integration in Biology with Chemical
Knowledge and Natural Language Associations [54.97423244799579]
$mathbfBioT5$は、化学知識と自然言語の関連性によって生物学のクロスモーダルな統合を強化する事前学習フレームワークである。
$mathbfBioT5$は構造化知識と非構造化知識を区別し、より効果的な情報利用につながる。
論文 参考訳(メタデータ) (2023-10-11T07:57:08Z) - BIOptimus: Pre-training an Optimal Biomedical Language Model with
Curriculum Learning for Named Entity Recognition [0.0]
大規模コーパス上での自己教師型設定で事前訓練された言語モデル(LM)を用いることで,ラベルデータに制限があるという問題に対処できる。
最近のバイオメディカル言語処理の研究は、多くのバイオメディカルLMを事前訓練した。
本稿では, バイオメディカル LM をスクラッチから事前訓練し, 継続的に事前訓練するなど, 様々な事前訓練方法を検討することを目的とする。
論文 参考訳(メタデータ) (2023-08-16T18:48:01Z) - BioAug: Conditional Generation based Data Augmentation for Low-Resource
Biomedical NER [52.79573512427998]
低リソースBioNERのための新しいデータ拡張フレームワークであるBioAugを紹介する。
BioAugは、選択的マスキングと知識増強に基づく新しいテキスト再構築タスクを解決するために訓練されている。
5つのベンチマークBioNERデータセットに対するBioAugの有効性を示す。
論文 参考訳(メタデータ) (2023-05-18T02:04:38Z) - Large language models in biomedical natural language processing:
benchmarks, baselines, and recommendations [16.609312090364448]
大きな言語モデル(LLM)は、その素晴らしいパフォーマンスに対して大きな注目を集めています。
本研究では,8つのBioNLPデータセットにおいて,ゼロショットとワンショットの両方でGPT-3とGPT-4のベースライン性能を確立する。
論文 参考訳(メタデータ) (2023-05-10T13:40:06Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳(メタデータ) (2023-03-17T02:01:11Z) - BioGPT: Generative Pre-trained Transformer for Biomedical Text
Generation and Mining [140.61707108174247]
本稿では,大規模生物医学文献に基づいて事前学習したドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。
BC5CDRでは44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIの関係抽出タスクでは78.2%、PubMedQAでは78.2%の精度が得られた。
論文 参考訳(メタデータ) (2022-10-19T07:17:39Z) - Benchmarking for Biomedical Natural Language Processing Tasks with a
Domain Specific ALBERT [9.8215089151757]
A Lite Bidirectional Representations from Transformers (ALBERT) のドメイン固有の適応であるBioALBERTを提案する。
バイオメディカルおよびPubMed Centralおよび臨床コーパスをトレーニングし、20のベンチマークデータセットで6つのタスクを微調整する。
これは、20のベンチマークデータセットのうち17の領域で、新たな最先端技術を表している。
論文 参考訳(メタデータ) (2021-07-09T11:47:13Z) - Predictive Coding Can Do Exact Backpropagation on Any Neural Network [40.51949948934705]
計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。
これは、任意のニューラルネットワーク上のパラメータを更新する方法でBPと同等であることが示されている最初の生物学的に実行可能なアルゴリズムです。
論文 参考訳(メタデータ) (2021-03-08T11:52:51Z) - Domain-Specific Language Model Pretraining for Biomedical Natural
Language Processing [73.37262264915739]
バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。
実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
論文 参考訳(メタデータ) (2020-07-31T00:04:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。