論文の概要: Artificial Kuramoto Oscillatory Neurons

• arxiv url: http://arxiv.org/abs/2410.13821v1
• Date: Thu, 17 Oct 2024 17:47:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:23:04.697481
• Title: Artificial Kuramoto Oscillatory Neurons
• Title（参考訳）: 人工倉本振動ニューロン
• Authors: Takeru Miyato, Sindy Löwe, Andreas Geiger, Max Welling,
• Abstract要約: しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
• 参考スコア（独自算出の注目度）: 65.16453738828672
• License:
• Abstract: It has long been known in both neuroscience and AI that ``binding'' between neurons leads to a form of competitive learning where representations are compressed in order to represent more abstract concepts in deeper layers of the network. More recently, it was also hypothesized that dynamic (spatiotemporal) representations play an important role in both neuroscience and AI. Building on these ideas, we introduce Artificial Kuramoto Oscillatory Neurons (AKOrN) as a dynamical alternative to threshold units, which can be combined with arbitrary connectivity designs such as fully connected, convolutional, or attentive mechanisms. Our generalized Kuramoto updates bind neurons together through their synchronization dynamics. We show that this idea provides performance improvements across a wide spectrum of tasks such as unsupervised object discovery, adversarial robustness, calibrated uncertainty quantification, and reasoning. We believe that these empirical results show the importance of rethinking our assumptions at the most basic neuronal level of neural representation, and in particular show the importance of dynamical representations.
• Abstract（参考訳）: 神経科学とAIの両方では、ニューロン間の''バインディング'が、ネットワークの深い層においてより抽象的な概念を表現するために表現を圧縮する競合学習の形式につながることが知られている。 最近では、動的(時空間的)表現が神経科学とAIの両方において重要な役割を果たしていると仮定された。 これらのアイデアに基づいて、我々はしきい値ユニットの動的代替としてArtificial Kuramoto Oscillatory Neurons (AKOrN)を導入し、完全に接続された、畳み込みされた、あるいは注意深いメカニズムのような任意の接続設計と組み合わせることができる。 一般化された倉本更新は、その同期力学を通してニューロンを結合する。 このアイデアは、教師なし対象発見、敵対的ロバスト性、校正された不確実性定量化、推論など、幅広いタスクに性能改善をもたらすことを示す。 これらの経験的結果は、私たちの仮定を神経表現の最も基本的なレベルで再考することの重要性を示し、特に動的表現の重要性を示していると信じている。

関連論文リスト

• Formation of Representations in Neural Networks [8.79431718760617]
  現代のニューラルネットワークにおいて、いかに複雑で構造化され、伝達可能な表現が出現するかは謎のままである。 本稿では、表現の形成を普遍的に支配する6つのアライメント関係の集合を仮定したCRH(Canonical Representation hypothesis)を提案する。 CRHの崩壊はR,W,Gの相互関係の出現につながり,この関係をPAH(Polynomial Alignment hypothesis)と呼ぶ。
  論文  参考訳（メタデータ） (2024-10-03T21:31:01Z)
• Synergistic pathways of modulation enable robust task packing within neural dynamics [0.0]
  ニューラルダイナミクスの文脈変調の2つの形態の区別を探索するために、リカレント・ネットワーク・モデルを用いる。 我々はこれらのメカニズムの区別を、それらが引き起こす神経力学のレベルで示す。 これらの特徴は、これらのメカニズムがどのように振る舞うかの相補性と相乗性を示している。
  論文  参考訳（メタデータ） (2024-08-02T15:12:01Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Learn to integrate parts for whole through correlated neural variability [8.173681663544757]
  感覚知覚は感覚ニューロンの反応に起因し、特定の知覚物体の物理的特性に関連付けられた知覚信号の集まりに反応する。 これらの神経反応から脳がどのように知覚情報を抽出するかを明らかにすることは、計算神経科学と機械学習の両方において重要な課題である。 本稿では,知覚情報を知覚ニューロンの相関変数に符号化し,下流ニューロンの発火速度に変換する統計力学理論を提案する。
  論文  参考訳（メタデータ） (2024-01-01T13:05:29Z)
• Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
  本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。 我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。 本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-01T05:20:57Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Condition Integration Memory Network: An Interpretation of the Meaning of the Neuronal Design [10.421465303670638]
  本論文では,プリミティブニューラルネットワークの機能的性質に関する仮説的枠組みを紹介する。 ニューロンとシナプスの活動が、世界の動的変化を象徴的に再現できるという考えを分析します。 アルゴリズム構造に参加せずにこれを実現する。
  論文  参考訳（メタデータ） (2021-05-21T05:59:27Z)
• A brain basis of dynamical intelligence for AI and computational neuroscience [0.0]
  より多くの脳のような能力は、新しい理論、モデル、および人工学習システムを設計する方法を要求するかもしれない。 本稿は,第6回US/NIH BRAIN Initiative Investigators Meetingにおける動的神経科学と機械学習に関するシンポジウムに触発されたものです。
  論文  参考訳（メタデータ） (2021-05-15T19:49:32Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。