論文の概要: Fractional neural attention for efficient multiscale sequence processing

• arxiv url: http://arxiv.org/abs/2511.10208v1
• Date: Fri, 14 Nov 2025 01:39:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-14 22:53:22.744594
• Title: Fractional neural attention for efficient multiscale sequence processing
• Title（参考訳）: 効率的なマルチスケールシーケンス処理のためのフラクタルニューラルアテンション
• Authors: Cheng Kevin Qu, Andrew Ly, Pulin Gong,
• Abstract要約: マルチスケール情報処理の原理的フレームワークであるFNA(Frictional Neural Attention)を導入する。 FNAは、ラプラシアン分数によって支配されるレヴィ拡散によるトークン相互作用をモデル化する。 FNAは、単一の層と単一のヘッドであっても、競合するテキスト分類性能を達成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention mechanisms underpin the computational power of Transformer models, which have achieved remarkable success across diverse domains. Yet understanding and extending the principles underlying self-attention remains a key challenge for advancing artificial intelligence. Drawing inspiration from the multiscale dynamics of biological attention and from dynamical systems theory, we introduce Fractional Neural Attention (FNA), a principled, neuroscience-inspired framework for multiscale information processing. FNA models token interactions through Lévy diffusion governed by the fractional Laplacian, intrinsically realizing simultaneous short- and long-range dependencies across multiple scales. This mechanism yields greater expressivity and faster information mixing, advancing the foundational capacity of Transformers. Theoretically, we show that FNA's dynamics are governed by the fractional diffusion equation, and that the resulting attention networks exhibit larger spectral gaps and shorter path lengths -- mechanistic signatures of enhanced computational efficiency. Empirically, FNA achieves competitive text-classification performance even with a single layer and a single head; it also improves performance in image processing and neural machine translation. Finally, the diffusion map algorithm from geometric harmonics enables dimensionality reduction of FNA weights while preserving the intrinsic structure of embeddings and hidden states. Together, these results establish FNA as a principled mechanism connecting self-attention, stochastic dynamics, and geometry, providing an interpretable, biologically grounded foundation for powerful, neuroscience-inspired AI.
• Abstract（参考訳）: 注意機構はトランスフォーマーモデルの計算能力を支えるもので、様々な領域で顕著な成功を収めている。 しかし、自己意識の根底にある原則を理解し、拡張することは、人工知能を進化させる上で重要な課題である。 バイオアテンションのマルチスケールダイナミクスと力学系理論からインスピレーションを得たFNA(Frictional Neural Attention)は,多スケール情報処理のための原理的,神経科学に着想を得たフレームワークである。 FNAはレヴィ拡散を通じてトークンの相互作用をモデル化し、複数のスケールにまたがる同時短距離と長距離の依存関係を本質的に実現している。 このメカニズムにより、より表現性が高く、より高速な情報混合が実現され、トランスフォーマーの基礎能力が向上する。 理論的には、FNAの力学は分数拡散方程式によって制御され、結果として生じる注意ネットワークはより大きなスペクトルギャップと短い経路長を示す。 実証的には、FNAは単一の層と単一のヘッドであっても競合するテキスト分類性能を達成し、画像処理やニューラルマシン翻訳のパフォーマンスも向上する。 最後に、幾何調和による拡散写像アルゴリズムは、埋め込みや隠れ状態の内在的構造を保ちながら、FNA重みの次元的低減を可能にする。 これらの結果は、FNAを自己認識、確率力学、幾何学を結合する原理的なメカニズムとして確立し、強力な神経科学に触発されたAIの解釈可能な生物学的基盤を提供する。

関連論文リスト

• Diffusion-Guided Renormalization of Neural Systems via Tensor Networks [0.0]
  平衡から遠く離れたところで、神経系は複数のスケールで自己組織化する。 神経科学と人工知能における大規模自己組織化の展開には、計算の枠組みが必要である。 サブサンプリングされた神経活動からコミュニティ構造を発見するためのスケーラブルなグラフ推論アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-10-07T18:26:10Z)
• Graph Neural Diffusion via Generalized Opinion Dynamics [8.691309696914882]
  本稿では,複数の意見力学モデルを原理的,訓練可能な拡散機構に統一するGODNFを提案する。 本フレームワークは,ノード固有の挙動モデリングと動的近傍の影響により,異種拡散パターンと時間的ダイナミクスを捕捉する。 多様な収束構成をモデル化するGODNFの能力を示す厳密な理論的解析を行う。
  論文  参考訳（メタデータ） (2025-08-15T06:36:57Z)
• Dynamical Alignment: A Principle for Adaptive Neural Computation [1.0974389213466795]
  固定されたニューラルネットワーク構造は、その構造ではなく、入力信号の時間的ダイナミクスによって駆動される、根本的に異なる計算モードで動作可能であることを示す。 この計算上の優位性は、入力力学とニューロン統合の間の時間スケールのアライメントから生じる。 この原理は、安定塑性ジレンマから分離積分力学まで、神経科学における長期保存双対性に関する統一的で計算可能な視点を提供する。
  論文  参考訳（メタデータ） (2025-08-13T06:35:57Z)
• Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。 既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。 本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
  論文  参考訳（メタデータ） (2025-07-22T18:20:56Z)
• CodeBrain: Towards Decoupled Interpretability and Multi-Scale Architecture for EEG Foundation Model [52.466542039411515]
  EEGファウンデーションモデル(EFM)は、タスク固有のモデルのスケーラビリティ問題に対処するために登場した。 このギャップを埋めるために設計された2段階のEMFであるCodeBrainを紹介します。 第1段階では、異種時間・周波数の脳波信号を離散トークンに分解するTFDual-Tokenizerを導入する。 第2段階では、構造化されたグローバル畳み込みとスライディングウインドウの注意を結合したマルチスケールEEGSSMアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-06-10T17:20:39Z)
• Self-orthogonalizing attractor neural networks emerging from the free energy principle [0.0]
  我々は、ランダムな力学系の普遍的なパーティショニングに適用される自由エネルギー原理から、アトラクターネットワークがどのように出現するかを定式化する。 私たちのアプローチでは、明示的に学習と推論の規則を課す必要がなくなる。 我々の発見は、自己組織化されたアトラクタネットワークの統一理論を提供し、AIと神経科学の新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-28T18:10:03Z)
• Neural Manifolds and Cognitive Consistency: A New Approach to Memory Consolidation in Artificial Systems [0.0]
  本稿では, ニューラル人口動態, 海馬鋭波リップル(SpWR)生成, ハイダー理論に触発された認知的一貫性の制約を統一する新しい数学的枠組みを提案する。 我々のモデルは低次元多様体表現を利用して構造化された神経ドリフトを捕捉し、コヒーレントシナプス相互作用を強制するためにバランスエネルギー関数を組み込む。 この研究は、神経科学と人工知能を橋渡しするスケーラブルなニューロモルフィックアーキテクチャの道を開くもので、将来のインテリジェントシステムに対してより堅牢で適応的な学習メカニズムを提供する。
  論文  参考訳（メタデータ） (2025-02-25T18:28:25Z)
• Transformers from Diffusion: A Unified Framework for Neural Message Passing [79.9193447649011]
  メッセージパッシングニューラルネットワーク(MPNN)は、デファクトクラスのモデルソリューションとなっている。 本稿では,拡散の誘導バイアスとエネルギーの層的制約を統合するエネルギー制約拡散モデルを提案する。 これらの知見に基づいて、我々はTransformer (DIFFormer)と呼ばれる新しいタイプのメッセージパッシングモデルを考案した。
  論文  参考訳（メタデータ） (2024-09-13T17:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。