論文の概要: Heterosynaptic Circuits Are Universal Gradient Machines

• arxiv url: http://arxiv.org/abs/2505.02248v1
• Date: Sun, 04 May 2025 21:04:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.50944
• Title: Heterosynaptic Circuits Are Universal Gradient Machines
• Title（参考訳）: ヘテロシナプス回路は普遍的なグラディエントマシンである
• Authors: Liu Ziyin, Isaac Chuang, Tomaso Poggio,
• Abstract要約: 生体脳の学習回路の設計原理を提案する。 この理論は、生物学的に妥当な学習アルゴリズムの幅広いクラスがヘテロシナプス回路のモチーフに基礎を置いていることを示唆している。 私たちの主な焦点は生物学ですが、この原則はAIトレーニングアルゴリズムと物理的に学習可能なAIハードウェアを設計するための新しいアプローチをも意味しています。
• 参考スコア（独自算出の注目度）: 1.919481257269497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a design principle for the learning circuits of the biological brain. The principle states that almost any dendritic weights updated via heterosynaptic plasticity can implement a generalized and efficient class of gradient-based meta-learning. The theory suggests that a broad class of biologically plausible learning algorithms, together with the standard machine learning optimizers, can be grounded in heterosynaptic circuit motifs. This principle suggests that the phenomenology of (anti-) Hebbian (HBP) and heterosynaptic plasticity (HSP) may emerge from the same underlying dynamics, thus providing a unifying explanation. It also suggests an alternative perspective of neuroplasticity, where HSP is promoted to the primary learning and memory mechanism, and HBP is an emergent byproduct. We present simulations that show that (a) HSP can explain the metaplasticity of neurons, (b) HSP can explain the flexibility of the biology circuits, and (c) gradient learning can arise quickly from simple evolutionary dynamics that do not compute any explicit gradient. While our primary focus is on biology, the principle also implies a new approach to designing AI training algorithms and physically learnable AI hardware. Conceptually, our result demonstrates that contrary to the common belief, gradient computation may be extremely easy and common in nature.
• Abstract（参考訳）: 生体脳の学習回路の設計原理を提案する。 この原理は、ヘテロシナプス可塑性によって更新された樹状重量のほとんど全てが、勾配に基づくメタラーニングの一般化された効率的なクラスを実装することができると述べている。 この理論は、生物学的に妥当な学習アルゴリズムの幅広いクラスと標準的な機械学習オプティマイザが、ヘテロシナプス回路のモチーフに基礎を置いていることを示唆している。 この原理は、(反)ヘビアン(HBP)とヘテロシナプス可塑性(HSP)の現象が、同じ基礎となる力学から出現し、統一的な説明をもたらすことを示唆している。 これはまた、HSPが一次学習および記憶機構に昇格し、HBPが創発的副産物となる、神経可塑性の別の視点も示唆している。 私たちはそれを示すシミュレーションを提示します。 (a)HSPは神経細胞の可塑性を説明することができる。 b)HSPは生物学回路の柔軟性を説明し、 (c)勾配学習は、明示的な勾配を計算しない単純な進化力学から急速に生じる。 私たちの主な焦点は生物学ですが、この原則はAIトレーニングアルゴリズムと物理的に学習可能なAIハードウェアを設計するための新しいアプローチをも意味しています。 概念的には、この結果は共通の信念に反して、勾配計算は自然界において極めて簡単で一般的であることを示している。

関連論文リスト

• Self-Assembly of a Biologically Plausible Learning Circuit [4.521435318601485]
  本稿では,生物学的に検証可能で,バックプロパゲーションと同様に機能するネットワークの重みを更新する回路を提案する。 我々の提案の重要な予測は、初期ランダム接続とヘテロシナプス可塑性規則から生じる基本回路の自己組織化の驚くべき性質である。
  論文  参考訳（メタデータ） (2024-12-28T04:41:19Z)
• Circuit design in biology and machine learning. II. Anomaly detection [0.0]
  異常検出は、生体システムが非定型的な環境入力を認識し反応する方法の理解を深める可能性がある。 本研究では,生体回路の概念的枠組みを構築するための機械学習技術を構築した。 私は、機械学習の概念にインスパイアされた最小限の回路に焦点を合わせ、セルスケールに縮小しました。
  論文  参考訳（メタデータ） (2024-11-23T20:36:57Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian Learning and Free Energy Minimization [55.11642177631929]
  大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。 我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
  論文  参考訳（メタデータ） (2023-10-14T23:28:48Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• The Predictive Forward-Forward Algorithm [79.07468367923619]
  本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。 我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。 PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
  論文  参考訳（メタデータ） (2023-01-04T05:34:48Z)
• Spike-based local synaptic plasticity: A survey of computational models and neuromorphic circuits [1.8464222520424338]
  シナプス可塑性のモデル化における歴史的,ボトムアップ的,トップダウン的なアプローチを概観する。 スパイクベース学習ルールの低レイテンシおよび低消費電力ハードウェア実装をサポートする計算プリミティブを同定する。
  論文  参考訳（メタデータ） (2022-09-30T15:35:04Z)
• Gradient descent in materia through homodyne gradient extraction [2.012950941269354]
  ホモダイン検出の原理に基づく簡易かつ効率的な勾配抽出法を示す。 最適化が必要なパラメータを摂動することで、高度に堅牢でスケーラブルな方法で勾配情報を得ることができる。 ホモジン勾配抽出は原則としてアマチュアで完全に実装することができ、自律的に学習する物質システムの開発を促進する。
  論文  参考訳（メタデータ） (2021-05-15T12:18:31Z)
• Deep Molecular Dreaming: Inverse machine learning for de-novo molecular design and interpretability with surjective representations [1.433758865948252]
  コンピュータビジョンを用いた勾配に基づく分子最適化手法PASITHEAを提案する。 ニューラルネットワークの学習プロセスを直接反転させることで勾配の利用を生かし、実際の化学特性を予測するために訓練される。 その結果は予備的ですが、逆トレーニング中の選択されたプロパティの分布の変化、PASITHEAの生存可能性を明確に示しています。
  論文  参考訳（メタデータ） (2020-12-17T16:34:59Z)
• Neural Cellular Automata Manifold [84.08170531451006]
  ニューラルセルラーオートマタのニューラルネットワークアーキテクチャは、より大きなNNにカプセル化可能であることを示す。 これにより、NAAの多様体を符号化する新しいモデルを提案し、それぞれが異なる画像を生成することができる。 生物学的には、我々のアプローチは転写因子の役割を担い、細胞の分化を促進する特定のタンパク質への遺伝子マッピングを調節する。
  論文  参考訳（メタデータ） (2020-06-22T11:41:57Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。