論文の概要: GASPnet: Global Agreement to Synchronize Phases

• arxiv url: http://arxiv.org/abs/2507.16674v2
• Date: Mon, 28 Jul 2025 07:32:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 14:15:47.052878
• Title: GASPnet: Global Agreement to Synchronize Phases
• Title（参考訳）: GASPnet: フェーズ同期のグローバル合意
• Authors: Andrea Alamia, Sabine Muzellec, Thomas Serre, Rufin VanRullen,
• Abstract要約: トランスフォーマーアーキテクチャは、キーとクエリ間の合意に基づいて、ネットワーク内の情報の選択とルーティングを行う。 本稿では、トランスフォーマーの注意操作の側面と魅力的な神経科学理論、すなわち同期による結合を結合する新しいメカニズムを提案する。 その結果,CNNネットワークよりも精度が向上し,ノイズに対する堅牢性が向上し,一般化能力も向上した。
• 参考スコア（独自算出の注目度）: 13.611995923070426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, Transformer architectures have revolutionized most fields of artificial intelligence, relying on an attentional mechanism based on the agreement between keys and queries to select and route information in the network. In previous work, we introduced a novel, brain-inspired architecture that leverages a similar implementation to achieve a global 'routing by agreement' mechanism. Such a system modulates the network's activity by matching each neuron's key with a single global query, pooled across the entire network. Acting as a global attentional system, this mechanism improves noise robustness over baseline levels but is insufficient for multi-classification tasks. Here, we improve on this work by proposing a novel mechanism that combines aspects of the Transformer attentional operations with a compelling neuroscience theory, namely, binding by synchrony. This theory proposes that the brain binds together features by synchronizing the temporal activity of neurons encoding those features. This allows the binding of features from the same object while efficiently disentangling those from distinct objects. We drew inspiration from this theory and incorporated angular phases into all layers of a convolutional network. After achieving phase alignment via Kuramoto dynamics, we use this approach to enhance operations between neurons with similar phases and suppresses those with opposite phases. We test the benefits of this mechanism on two datasets: one composed of pairs of digits and one composed of a combination of an MNIST item superimposed on a CIFAR-10 image. Our results reveal better accuracy than CNN networks, proving more robust to noise and with better generalization abilities. Overall, we propose a novel mechanism that addresses the visual binding problem in neural networks by leveraging the synergy between neuroscience and machine learning.
• Abstract（参考訳）: 近年、Transformerアーキテクチャは、キーとクエリ間の合意に基づいて、ネットワーク内の情報の選択とルーティングを行う、注目メカニズムを頼りに、人工知能のほとんどの分野に革命をもたらした。 前回の研究で我々は、同様の実装を活用して、グローバルな「合意による引き抜き」のメカニズムを実現する、新しいブレインインスパイアされたアーキテクチャを導入しました。 このようなシステムは、各ニューロンのキーと、ネットワーク全体にわたってプールされた単一のグローバルクエリとをマッチングすることで、ネットワークのアクティビティを変調する。 グローバルな注意システムとして機能するこのメカニズムは、ベースラインレベルよりもノイズの堅牢性を向上させるが、マルチクラス化タスクには不十分である。 ここでは、トランスフォーマーの注意操作の側面と魅力的な神経科学理論、すなわち同期による結合を結合する新しいメカニズムを提案することにより、この研究を改善する。 この理論は、これらの特徴をコードするニューロンの時間的活動と同期することにより、脳が特徴を結合することを提案する。 これにより、同じオブジェクトから機能のバインディングが可能となり、異なるオブジェクトからそれらを効率的に切り離すことができます。 この理論から着想を得て、畳み込みネットワークの全層に角相を組み込んだ。 倉本動力学による位相アライメントを達成した後、同様の位相のニューロン間の動作を増強し、反対位相のニューロンを抑圧する。 CIFAR-10画像上に重畳されたMNIST項目の組合せからなる1組の桁と1組の桁からなる2つのデータセット上で、このメカニズムの利点を検証した。 その結果,CNNネットワークよりも精度が向上し,ノイズに対する堅牢性が向上し,一般化能力も向上した。 本稿では,神経科学と機械学習の相乗効果を利用して,ニューラルネットワークの視覚的結合問題に対処する機構を提案する。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方では、ニューロン間の'バインディング'が、ネットワークの深い層においてより抽象的な概念を表現するために表現を圧縮する、競争的な学習の形式につながることが知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、定量化、推論など、幅広いタスクにわたるパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Self-Attention-Based Contextual Modulation Improves Neural System Identification [2.784365807133169]
  一次視覚野の皮質ニューロンは、水平およびフィードバック接続によって媒介される文脈情報に敏感である。 CNNはグローバルなコンテキスト情報を統合し、連続的な畳み込みと完全に接続された読み出し層という2つのメカニズムを通じてコンテキスト変調をモデル化する。 自己アテンションは、パラメータマッチングされたCNNよりも2つの重要な指標であるチューニング曲線相関とピークチューニングにおいて、ニューラルネットワークの応答予測を改善することができる。
  論文  参考訳（メタデータ） (2024-06-12T03:21:06Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Centered Self-Attention Layers [89.21791761168032]
  変圧器の自己保持機構とグラフニューラルネットワークのメッセージ通過機構を繰り返し適用する。 我々は、このアプリケーションが必然的に、より深い層での同様の表現に過剰なスムーシングをもたらすことを示す。 これらの機構の集約演算子に補正項を提示する。
  論文  参考訳（メタデータ） (2023-06-02T15:19:08Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Bottom-up and top-down approaches for the design of neuromorphic processing systems: Tradeoffs and synergies between natural and artificial intelligence [3.874729481138221]
  ムーアの法則は指数計算能力の期待を加速させており、システム全体の性能を改善するための新たな方法を求める最終段階に近づいている。 これらの方法の1つは、生物学的ニューラルネットワークシステムの柔軟性と計算効率を達成することを目的とした、脳にインスパイアされた代替コンピューティングアーキテクチャの探索である。 我々は、このパラダイムシフトが実現される際の粒度の異なるレベルについて、その分野の包括的概要を提供する。
  論文  参考訳（メタデータ） (2021-06-02T16:51:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。