論文の概要: Traveling Waves Integrate Spatial Information Into Spectral Representations
- arxiv url: http://arxiv.org/abs/2502.06034v1
- Date: Sun, 09 Feb 2025 21:14:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-11 14:31:53.194609
- Title: Traveling Waves Integrate Spatial Information Into Spectral Representations
- Title（参考訳）: 空間情報をスペクトル表現に統合する旅行波
- Authors: Mozes Jacobs, Roberto C. Budzinski, Lyle Muller, Demba Ba, T. Anderson Keller,
- Abstract要約: 視覚刺激に応答して、隠れた状態で進行波を発生させる一連の畳み込みリカレントニューラルネットワークを導入する。
移動波は局所的に接続されたニューロンの受容野を効果的に拡張し、長距離符号化と情報通信を支援する。
- 参考スコア（独自算出の注目度）: 3.3496112914071166
- License:
- Abstract: Traveling waves are widely observed in the brain, but their precise computational function remains unclear. One prominent hypothesis is that they enable the transfer and integration of spatial information across neural populations. However, few computational models have explored how traveling waves might be harnessed to perform such integrative processing. Drawing inspiration from the famous ``Can one hear the shape of a drum?'' problem -- which highlights how spectral modes encode geometric information -- we introduce a set of convolutional recurrent neural networks that learn to produce traveling waves in their hidden states in response to visual stimuli. By applying a spectral decomposition to these wave-like activations, we obtain a powerful new representational space that outperforms equivalently local feed-forward networks on tasks requiring global spatial context. In particular, we observe that traveling waves effectively expand the receptive field of locally connected neurons, supporting long-range encoding and communication of information. We demonstrate that models equipped with this mechanism and spectral readouts solve visual semantic segmentation tasks demanding global integration, where local feed-forward models fail. As a first step toward traveling-wave-based representations in artificial networks, our findings suggest potential efficiency benefits and offer a new framework for connecting to biological recordings of neural activity.
- Abstract（参考訳）: 進行波は脳内で広く観測されているが、正確な計算機能はまだ不明である。
一つの顕著な仮説は、神経集団間で空間情報の伝達と統合を可能にするというものである。
しかし、そのような積分処理を行うために走行波をどのように活用するかを探索する計算モデルはほとんどない。
有名な ‘Can one hear the shape of a drum?' 問題からインスピレーションを得た -- スペクトルモードが幾何学的情報をエンコードする方法を強調する -- では、視覚刺激に応答して、隠れた状態で走行する波を生成することを学ぶ畳み込みリカレントニューラルネットワークのセットを紹介します。
これらの波状活性化にスペクトル分解を適用することにより、グローバルな空間コンテキストを必要とするタスクにおいて、等価なローカルフィードフォワードネットワークよりも優れた、強力な新しい表現空間が得られる。
特に,移動波は局所連結ニューロンの受容野を効果的に拡張し,長距離符号化と情報通信を支援する。
我々は,この機構とスペクトル読み出し機能を備えたモデルを用いて,局所フィードフォワードモデルが失敗するグローバルな統合を必要とする視覚的セマンティックセマンティクスタスクを解決することを実証した。
人工ネットワークにおける走行波に基づく表現への第一歩として,我々は潜在的な効率性を示し,神経活動の生物学的記録に接続するための新しい枠組みを提供する。
関連論文リスト
- Emergence of global receptive fields capturing multipartite quantum correlations [0.565473932498362]
量子物理学において、波動関数レベルで明確に定義された構造を持つ単純なデータでさえ、非常に複雑な相関によって特徴づけられる。
量子統計学を学習しながら、ニューラルネットワークの重み空間をモニタリングすることで、複雑な多部パターンに関する物理的直観を発達させることができることを示す。
この結果から,非局所パターンを用いたデータ処理のための畳み込みニューラルネットワークの構築について,新たな知見が得られた。
論文 参考訳（メタデータ） (2024-08-23T12:45:40Z) - The Cooperative Network Architecture: Learning Structured Networks as Representation of Sensory Patterns [3.9848584845601014]
本稿では、入力パターンを表現するためにネットワーク構造を学習し、ノイズ、変形、アウト・オブ・ディストリビューションデータに頑健に対処するモデルである協調ネットワークアーキテクチャ(CNA)を提案する。
論文 参考訳（メタデータ） (2024-07-08T06:22:10Z) - Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。
本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。
本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
論文 参考訳（メタデータ） (2024-04-22T09:40:07Z) - Hidden Traveling Waves bind Working Memory Variables in Recurrent Neural Networks [3.686808512438363]
我々は、ニューラルネットワーク内の進行波動力学の概念を活用し、ニューラルワーキングメモリの理論モデルを定式化する。
状態履歴の表現と学習におけるモデルの能力について厳密に検討する。
我々の研究結果は、AIにおける走行波のより広い関係と、ニューラルネットワークアーキテクチャの進歩の可能性を示している。
論文 参考訳（メタデータ） (2024-02-15T18:08:58Z) - Trainability, Expressivity and Interpretability in Gated Neural ODEs [0.0]
本稿では,ニューラルネットワークのキャパシティを探索して複雑なトラジェクトリを生成する,表現性の新たな尺度を提案する。
本研究は,低次元のgnODEがモデリング能力を保ちながら,解釈可能性を大幅に向上することを示す。
また,複数の実世界のタスクにおいて,NODEにおけるゲーティングの利点を示す。
論文 参考訳（メタデータ） (2023-07-12T18:29:01Z) - Deep Representations for Time-varying Brain Datasets [4.129225533930966]
本稿では、領域マップされたfMRIシーケンスと構造接続性の両方を入力として組み込んだ効率的なグラフニューラルネットワークモデルを構築する。
サンプルレベルの適応的隣接行列を学習することで、潜伏する脳のダイナミクスのよい表現を見つけ出す。
これらのモジュールは容易に適応でき、神経科学領域以外の用途にも有用である可能性がある。
論文 参考訳（メタデータ） (2022-05-23T21:57:31Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Can the brain use waves to solve planning problems? [62.997667081978825]
このような課題を解くニューラルネットワークモデルを提案する。
このモデルは、哺乳類の新皮質と海馬に関する幅広い実験的な発見と互換性がある。
論文 参考訳（メタデータ） (2021-10-11T11:07:05Z) - Wave Propagation of Visual Stimuli in Focus of Attention [77.4747032928547]
周囲の視覚環境の変化に対する迅速な反応は、計算資源を視覚領域の最も関連する場所に再配置する効率的な注意機構を必要とする。
本研究は, 営巣動物が提示する有効性と効率性を示す, 生物学的に有望な注目焦点モデルを提案する。
論文 参考訳（メタデータ） (2020-06-19T09:33:21Z) - Implicit Neural Representations with Periodic Activation Functions [109.2353097792111]
ニューラルネットワークによってパラメータ化される暗黙的に定義された、連続的な、微分可能な信号表現は、強力なパラダイムとして現れている。
暗黙的なニューラル表現に周期的アクティベーション関数を活用することを提案し、これらのネットワークは正弦波表現ネットワークまたはサイレンと呼ばれ、複雑な自然信号とその誘導体を表現するのに理想的であることを示す。
我々は、シリンズがどのようにして、特定のアイコン方程式、ポアソン方程式、ヘルムホルツ方程式や波動方程式などの挑戦的な境界値問題を解くことができるかを示す。
論文 参考訳（メタデータ） (2020-06-17T05:13:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。