論文の概要: Unlocking the Potential of Similarity Matching: Scalability, Supervision and Pre-training

• arxiv url: http://arxiv.org/abs/2308.02427v1
• Date: Wed, 2 Aug 2023 20:34:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-07 12:12:02.196844
• Title: Unlocking the Potential of Similarity Matching: Scalability, Supervision and Pre-training
• Title（参考訳）: 類似性マッチングの可能性 - スケーラビリティ、スーパービジョン、事前トレーニング
• Authors: Yanis Bahroun, Shagesh Sridharan, Atithi Acharya, Dmitri B. Chklovskii, Anirvan M. Sengupta
• Abstract要約: バックプロパゲーション(BP)アルゴリズムは、生物学的な妥当性、計算コスト、オンライン学習に適した限界を示す。 本研究は, 生体系における観察機構と整合する, 主に教師なし類似性マッチング(SM)フレームワークに焦点を当てた。
• 参考スコア（独自算出の注目度）: 9.160910754837754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While effective, the backpropagation (BP) algorithm exhibits limitations in terms of biological plausibility, computational cost, and suitability for online learning. As a result, there has been a growing interest in developing alternative biologically plausible learning approaches that rely on local learning rules. This study focuses on the primarily unsupervised similarity matching (SM) framework, which aligns with observed mechanisms in biological systems and offers online, localized, and biologically plausible algorithms. i) To scale SM to large datasets, we propose an implementation of Convolutional Nonnegative SM using PyTorch. ii) We introduce a localized supervised SM objective reminiscent of canonical correlation analysis, facilitating stacking SM layers. iii) We leverage the PyTorch implementation for pre-training architectures such as LeNet and compare the evaluation of features against BP-trained models. This work combines biologically plausible algorithms with computational efficiency opening multiple avenues for further explorations.
• Abstract（参考訳）: バックプロパゲーション(BP)アルゴリズムは有効な一方で、生物学的な妥当性、計算コスト、オンライン学習に適する可能性の限界を示す。 その結果,局所的な学習ルールに依存する,生物学的に妥当な学習手法の開発への関心が高まっている。 本研究は、主に教師なしの類似性マッチング(sm)フレームワークに注目し、生物システムの観察されたメカニズムと整合し、オンライン、局所化、生物学的に妥当なアルゴリズムを提供する。 i)大規模なデータセットにSMをスケールするために,PyTorchを用いた畳み込み非負のSMの実装を提案する。 二 正規相関解析を連想させる局所教師付きSM目標を導入し、SM階層の積み重ねを容易にする。 iii) PyTorch の実装を LeNet などの事前学習アーキテクチャに適用し,BP 学習モデルとの比較を行った。 この研究は生物学的にもっともらしいアルゴリズムと計算効率を組み合わせ、さらなる探索のために複数の道を開く。

関連論文リスト

• Provably Efficient Representation Learning with Tractable Planning in Low-Rank POMDP [81.00800920928621]
  部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究 まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。 次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:04:03Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• BioLeaF: A Bio-plausible Learning Framework for Training of Spiking Neural Networks [4.698975219970009]
  本稿では,新しいアーキテクチャと学習ルールをサポートする2つのコンポーネントからなる,生物工学的な新しい学習フレームワークを提案する。 マイクロ回路アーキテクチャでは,Spyke-Timing-Dependent-Plasticity(STDP)ルールをローカルコンパートメントで運用し,シナプス重みを更新する。 実験の結果,提案手法はBP法則に匹敵する学習精度を示す。
  論文  参考訳（メタデータ） (2021-11-14T10:32:22Z)
• An LSTM-based Plagiarism Detection via Attention Mechanism and a Population-based Approach for Pre-Training Parameters with imbalanced Classes [1.9949261242626626]
  本稿では,Long Short-Term Memory(LSTM)と,LSTM-AM-ABCと呼ばれるアテンション機構に基づくアーキテクチャを提案する。 提案アルゴリズムは,全てのLSTM,アテンション機構,フィードフォワードニューラルネットワークにおいて,モデル学習の初期値を同時に求めることができる。
  論文  参考訳（メタデータ） (2021-10-17T09:20:03Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• CNN-based Approaches For Cross-Subject Classification in Motor Imagery: From The State-of-The-Art to DynamicNet [0.2936007114555107]
  運動画像(MI)ベースの脳-コンピュータインタフェース(BCI)システムは、コミュニケーションと制御の代替手段を提供するためにますます採用されています。 信頼できるBCIシステムを得るには、脳信号からMIを正確に分類することが不可欠です。 ディープラーニングアプローチは、標準的な機械学習技術の有効な代替手段として現れ始めている。
  論文  参考訳（メタデータ） (2021-05-17T14:57:13Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。