論文の概要: Binding threshold units with artificial oscillatory neurons

• arxiv url: http://arxiv.org/abs/2505.03648v1
• Date: Tue, 06 May 2025 15:54:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.45994
• Title: Binding threshold units with artificial oscillatory neurons
• Title（参考訳）: 人工振動ニューロンの結合閾値単位
• Authors: Vladimir Fanaskov, Ivan Oseledets,
• Abstract要約: 本稿では、振動ニューロンを閾値単位と明確に区別し、それらの結合機構を確立する理論的枠組みを提案する。 本研究は, 具体的玩具実験を通じて, この結合の実用的実現を実証する。
• 参考スコア（独自算出の注目度）: 4.347494885647007
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial Kuramoto oscillatory neurons were recently introduced as an alternative to threshold units. Empirical evidence suggests that oscillatory units outperform threshold units in several tasks including unsupervised object discovery and certain reasoning problems. The proposed coupling mechanism for these oscillatory neurons is heterogeneous, combining a generalized Kuramoto equation with standard coupling methods used for threshold units. In this research note, we present a theoretical framework that clearly distinguishes oscillatory neurons from threshold units and establishes a coupling mechanism between them. We argue that, from a biological standpoint, oscillatory and threshold units realise distinct aspects of neural coding: roughly, threshold units model intensity of neuron firing, while oscillatory units facilitate information exchange by frequency modulation. To derive interaction between these two types of units, we constrain their dynamics by focusing on dynamical systems that admit Lyapunov functions. For threshold units, this leads to Hopfield associative memory model, and for oscillatory units it yields a specific form of generalized Kuramoto model. The resulting dynamical systems can be naturally coupled to form a Hopfield-Kuramoto associative memory model, which also admits a Lyapunov function. Various forms of coupling are possible. Notably, oscillatory neurons can be employed to implement a low-rank correction to the weight matrix of a Hopfield network. This correction can be viewed either as a form of Hebbian learning or as a popular LoRA method used for fine-tuning of large language models. We demonstrate the practical realization of this particular coupling through illustrative toy experiments.
• Abstract（参考訳）: 近年, しきい値単位の代替として人工倉本振動ニューロンが導入された。 実験的な証拠は、振動ユニットが、教師なしの物体発見や特定の推論問題を含むいくつかのタスクにおいて閾値ユニットより優れていることを示唆している。 これらの振動ニューロンの結合機構は不均一であり、一般化された倉本方程式と閾値単位の標準結合法を組み合わせたものである。 本稿では,振動ニューロンを閾値単位と明確に区別し,それらの結合機構を確立する理論的枠組みを提案する。 生体的観点から、振動ユニットと閾値ユニットは、概ね、閾値ユニットはニューロンの発火の強度をモデル化し、振動ユニットは周波数変調による情報交換を促進する。 これらの2種類の単位間の相互作用を導出するために、リャプノフ函数を許容する力学系に焦点をあてることにより、それらの力学を制約する。 閾値単位の場合、これはホップフィールド連想メモリモデルにつながり、振動単位については一般化された倉本モデルという特定の形式をもたらす。 結果の力学系は自然に結合してホップフィールド・倉本連想メモリモデルを形成することができ、リャプノフ関数も含む。 様々な種類の結合が可能である。 特に、振動ニューロンを用いてホップフィールドネットワークの重み行列に対する低ランク補正を行うことができる。 この補正は、ヘビ語学習の一形態と見なすか、あるいは大きな言語モデルの微調整に使用される一般的なLoRA法とみなすことができる。 本研究は, 具体的玩具実験を通じて, この結合の実用的実現を実証する。

関連論文リスト

• Allostatic Control of Persistent States in Spiking Neural Networks for perception and computation [79.16635054977068]
  本稿では,アロスタシスの概念を内部表現の制御に拡張することにより,環境に対する知覚的信念を更新するための新しいモデルを提案する。 本稿では,アトラクタネットワークにおける活動の急増を空間的数値表現として利用する数値認識の応用に焦点を当てる。
  論文  参考訳（メタデータ） (2025-03-20T12:28:08Z)
• Covariant non-perturbative pointer variables for quantum fields [44.99833362998488]
  我々は、検出器ポインター可変力学を支配する積分微分方程式の導出と再正規化を行う。 グリーン函数の項で表される公式解は、場上の誘導可観測物の共変と因果解析を可能にする。
  論文  参考訳（メタデータ） (2025-02-03T11:53:31Z)
• Generative Modeling of Neural Dynamics via Latent Stochastic Differential Equations [1.5467259918426441]
  本稿では,生体神経系の計算モデル構築のためのフレームワークを提案する。 我々は、微分ドリフトと拡散関数を持つ結合微分方程式系を用いる。 これらのハイブリッドモデルは,刺激によって誘発される神経および行動応答の予測において,競争力を発揮することを示す。
  論文  参考訳（メタデータ） (2024-12-01T09:36:03Z)
• Efficiency of Dynamical Decoupling for (Almost) Any Spin-Boson Model [44.99833362998488]
  構造ボソニック環境と結合した2レベル系の動的疎結合を解析的に検討した。 このようなシステムに対して動的疎結合が機能する十分な条件を見つける。 私たちの境界は、様々な関連するシステムパラメータで正しいスケーリングを再現します。
  論文  参考訳（メタデータ） (2024-09-24T04:58:28Z)
• Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。 本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T15:47:03Z)
• Integrating GNN and Neural ODEs for Estimating Non-Reciprocal Two-Body Interactions in Mixed-Species Collective Motion [0.0]
  本稿では,観測軌道から基礎となる運動方程式を推定するための新しいディープラーニングフレームワークを提案する。 本フレームワークは,グラフニューラルネットワークとニューラルディファレンシャル方程式を統合し,二体相互作用の効果的な予測を可能にする。
  論文  参考訳（メタデータ） (2024-05-26T09:47:17Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Understanding Neural Coding on Latent Manifolds by Sharing Features and Dividing Ensembles [3.625425081454343]
  システム神経科学は、単一ニューロンのチューニング曲線と集団活動の分析を特徴とする2つの相補的な神経データ観に依存している。 これらの2つの視点は、潜伏変数とニューラルアクティビティの関係を制約するニューラル潜伏変数モデルにおいてエレガントに結合する。 ニューラルチューニング曲線にまたがる機能共有を提案し、性能を大幅に改善し、より良い最適化を実現する。
  論文  参考訳（メタデータ） (2022-10-06T18:37:49Z)
• Decimation technique for open quantum systems: a case study with driven-dissipative bosonic chains [62.997667081978825]
  量子系の外部自由度への不可避結合は、散逸(非単体)ダイナミクスをもたらす。 本稿では,グリーン関数の(散逸的な)格子計算に基づいて,これらのシステムに対処する手法を提案する。 本手法のパワーを,複雑性を増大させる駆動散逸型ボゾン鎖のいくつかの例で説明する。
  論文  参考訳（メタデータ） (2022-02-15T19:00:09Z)
• Solving the Bose-Hubbard model in new ways [0.0]
  本稿では,近傍の相互作用を持つボソンの配列に対するBose-Hubbardモデルの解析手法を提案する。 これはモデルを構成する生成および消滅演算子の数論的な実装に基づいている。 このタイプの有限系における量子相転移の厳密なコンピュータ支援証明を提供する。
  論文  参考訳（メタデータ） (2021-06-17T08:41:37Z)
• Memory kernel and divisibility of Gaussian Collisional Models [0.0]
  オープンシステムのダイナミクスにおけるメモリ効果は、ここ数十年で大きな関心を集めてきた。 我々は,部分的なSWAPを実装したビームスプリッタと,アンシラを絡めて励起をシステムに供給する2モードスキューズという2種類の相互作用を解析する。 これら2つの代表的なシナリオのメモリカーネルの解析と拡張性により、量子領域におけるメモリ効果の背後にある複雑なメカニズムの解明に寄与する。
  論文  参考訳（メタデータ） (2020-08-03T10:28:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。