論文の概要: Flexible Phase Dynamics for Bio-Plausible Contrastive Learning

• arxiv url: http://arxiv.org/abs/2302.12431v1
• Date: Fri, 24 Feb 2023 03:18:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-27 14:41:26.739534
• Title: Flexible Phase Dynamics for Bio-Plausible Contrastive Learning
• Title（参考訳）: バイオプルーシブルコントラスト学習のためのフレキシブル位相ダイナミクス
• Authors: Ezekiel Williams, Colin Bredenberg, Guillaume Lajoie
• Abstract要約: Contrastive Learning (CL)アルゴリズムは、伝統的に剛性、時間的に非局所的、周期的な学習ダイナミクスで実装されている。 この研究は、CLが生物学的またはニューロモルフィックシステムによってどのように実装されるかを研究する研究に基づいている。 このような学習は時間的に局所的に行うことができ、標準的な訓練手順の動的要求の多くを緩和しても機能することを示す。
• 参考スコア（独自算出の注目度）: 4.0515232217224755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many learning algorithms used as normative models in neuroscience or as candidate approaches for learning on neuromorphic chips learn by contrasting one set of network states with another. These Contrastive Learning (CL) algorithms are traditionally implemented with rigid, temporally non-local, and periodic learning dynamics that could limit the range of physical systems capable of harnessing CL. In this study, we build on recent work exploring how CL might be implemented by biological or neurmorphic systems and show that this form of learning can be made temporally local, and can still function even if many of the dynamical requirements of standard training procedures are relaxed. Thanks to a set of general theorems corroborated by numerical experiments across several CL models, our results provide theoretical foundations for the study and development of CL methods for biological and neuromorphic neural networks.
• Abstract（参考訳）: 多くの学習アルゴリズムは神経科学の規範的モデルとして、あるいはニューロモルフィックチップで学習するための候補的アプローチとして用いられる。 これらのコントラスト学習(cl)アルゴリズムは伝統的に、clを活用できる物理システムの範囲を制限するような、厳格で時間的に非局所的で周期的な学習ダイナミクスで実装されている。 本研究では,生物やニューロモルフィックシステムによってCLをどのように実装するかを探求する最近の研究に基づいて,このような学習形態を時間的に局所的に行うことができ,標準的な訓練手順の動的要求の多くを緩和しても機能することを示す。 複数のclモデルの数値実験によって裏付けられた一連の一般定理により、生体および神経形態的ニューラルネットワークのためのcl法の研究と開発のための理論的基礎が得られた。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• NeuralCRNs: A Natural Implementation of Learning in Chemical Reaction Networks [0.0]
  決定論的化学反応ネットワーク(CRN)の集合体として構築された新しい教師あり学習フレームワークを提案する。 従来の作業とは異なり、NeuralCRNsフレームワークは動的システムベースの学習実装に基づいており、結果として化学的に互換性のある計算が行われる。
  論文  参考訳（メタデータ） (2024-08-18T01:43:26Z)
• CHANI: Correlation-based Hawkes Aggregation of Neurons with bio-Inspiration [7.26259898628108]
  本研究の目的は,生物学にインスパイアされたニューラルネットワークが,局所的な変換のみによって分類タスクを学習できることを数学的に証明することである。 我々は、ホークス過程によってニューロンの活動がモデル化されるCHANIというスパイクニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T07:17:58Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Path sampling of recurrent neural networks by incorporating known physics [0.0]
  我々は、再帰的なニューラルネットワークに一般的な熱力学または運動論的制約を組み込むことができる経路サンプリング手法を示す。 本稿では,長期記憶ネットワークとして広く利用されているリカレントニューラルネットワークについて述べる。 我々の手法は、他の生成人工知能モデルや、物理・社会科学の様々な分野における一般的な時系列に容易に一般化できる。
  論文  参考訳（メタデータ） (2022-03-01T16:35:50Z)
• Deep Active Learning by Leveraging Training Dynamics [57.95155565319465]
  本稿では,学習力学を最大化するためにサンプルを選択する理論駆動型深層能動学習法(Dynamical)を提案する。 動的学習は、他のベースラインを一貫して上回るだけでなく、大規模なディープラーニングモデルでもうまくスケール可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-16T16:51:05Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Identifying nonclassicality from experimental data using artificial neural networks [52.77024349608834]
  ニューラルネットワークをトレーニングして、古典的および非古典的状態とを、その二次的測定分布から分類する。 光の状態の異なる実実験的な二次データから古典的特徴や非古典的特徴を正確に識別できることを示す。
  論文  参考訳（メタデータ） (2021-01-18T15:12:47Z)
• Identifying Learning Rules From Neural Network Observables [26.96375335939315]
  学習ルールの異なるクラスは、重み、アクティベーション、即時的な階層的活動変化の集計統計に基づいてのみ分離可能であることを示す。 本研究は, シナプス後活動の電気生理学的記録から得られる活性化パターンが, 学習規則の同定に有効であることを示すものである。
  論文  参考訳（メタデータ） (2020-10-22T14:36:54Z)
• Watch and learn -- a generalized approach for transferrable learning in deep neural networks via physical principles [0.0]
  本研究では,物理状態の異なる統計物理学における問題に対して,完全に伝達可能な学習を実現するための教師なし学習手法を実証する。 逐次ニューラルネットワークに基づくシーケンスモデルを広範囲のディープニューラルネットワークに結合することにより、古典的な統計力学系の平衡確率分布と粒子間相互作用モデルを学ぶことができる。
  論文  参考訳（メタデータ） (2020-03-03T18:37:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。