論文の概要: Neuronal Attention Circuit (NAC) for Representation Learning

• arxiv url: http://arxiv.org/abs/2512.10282v1
• Date: Thu, 11 Dec 2025 04:49:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-12 16:15:42.194026
• Title: Neuronal Attention Circuit (NAC) for Representation Learning
• Title（参考訳）: 表現学習のためのニューラルアテンション回路(NAC)
• Authors: Waleed Razzaq, Izis Kankaraway, Yun-Bo Zhao,
• Abstract要約: 線形一階ODEの解法としてアテンションロジット計算を再構成するCT-Attention機構を導入する。 我々は、不規則な時系列分類、自動運転車の車線維持、産業の予後など、さまざまな領域でNACを実装している。
• 参考スコア（独自算出の注目度）: 2.0573301822495553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention improves representation learning over RNNs, but its discrete nature limits continuous-time (CT) modeling. We introduce Neuronal Attention Circuit (NAC), a novel, biologically plausible CT-Attention mechanism that reformulates attention logits computation as the solution to a linear first-order ODE with nonlinear interlinked gates derived from repurposing \textit{C. elegans} Neuronal Circuit Policies (NCPs) wiring mechanism. NAC replaces dense projections with sparse sensory gates for key-query projections and a sparse backbone network with two heads for computing \textit{content-target} and \textit{learnable time-constant} gates, enabling efficient adaptive dynamics. NAC supports three attention logit computation modes: (i) explicit Euler integration, (ii) exact closed-form solution, and (iii) steady-state approximation. To improve memory intensity, we implemented a sparse Top-\emph{K} pairwise concatenation scheme that selectively curates key-query interactions. We provide rigorous theoretical guarantees, including state stability, bounded approximation errors, and universal approximation. Empirically, we implemented NAC in diverse domains, including irregular time-series classification, lane-keeping for autonomous vehicles, and industrial prognostics. We observed that NAC matches or outperforms competing baselines in accuracy and occupies an intermediate position in runtime and memory efficiency compared with several CT baselines.
• Abstract（参考訳）: 注意はRNN上の表現学習を改善するが、その離散的な性質は連続時間(CT)モデリングを制限する。 本稿では,新しい生物学的に妥当なCT-Attention機構であるニューラルアテンション・サーキット(NAC)を紹介した。 エレガンス 神経回路ポリシー(NCP)の配線機構。 NACは、密度の高い投影を、キー・クエリ・プロジェクションのためのスパース・センサ・ゲートと、演算のための2つのヘッドを持つスパース・バックボーン・ネットワークに置き換え、効率的な適応的ダイナミクスを実現する。 NACは3つのアテンションロジット計算モードをサポートしている。 (i)明示的なオイラー積分 (ii)正確な閉形式解、及び (三)定常近似 メモリ強度を向上させるために、キー-クエリ相互作用を選択的にキュレートするスパースTop-\emph{K}ペアワイズ結合方式を実装した。 我々は、状態安定性、有界近似誤差、普遍近似を含む厳密な理論的保証を提供する。 実証的には,不規則な時系列分類,自動運転車の車線維持,産業的予後など,さまざまな領域でNACを実装した。 我々はNACが競合するベースラインと精度で一致し、複数のCTベースラインと比較して実行時とメモリ効率の中間的な位置を占めることを観察した。

関連論文リスト

• NTK-Guided Implicit Neural Teaching [30.8213717343444]
  インプシットニューラル表現(INR)は多層パーセプトロン(MLP)を介して連続信号をパラメータ化する NTK-Guided Implicit Neural Teaching (NINT)を提案する。 NINTはNTK拡張された損失勾配の基準で、適合エラーと不均一レバレッジの両方をキャプチャする。
  論文  参考訳（メタデータ） (2025-11-19T14:43:04Z)
• PAHQ: Accelerating Automated Circuit Discovery through Mixed-Precision Inference Optimization [17.316927027489506]
  サーキットディスカバリー(ACDC)は、サーキットディスカバリーにおける重要な方法論として登場した。 しかし、その大規模言語モデルへの適用は、計算の非効率さと極めて高いメモリ要求によって著しく制限されている。 提案手法は,各パッチ処理の効率を最適化し,本手法を根本的に異なるアプローチで提案する。
  論文  参考訳（メタデータ） (2025-10-27T12:24:14Z)
• Learning based convex approximation for constrained parametric optimization [11.379408842026981]
  本稿では、制約付き最適化問題を解決するために、入力ニューラルネットワーク(ICNN)に基づく自己教師付き学習フレームワークを提案する。 厳密な収束解析を行い、このフレームワークが元の問題のKKT近似点に収束することを示す。 提案手法は精度,実現可能性,計算効率の両立を実現している。
  論文  参考訳（メタデータ） (2025-05-07T00:33:14Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Strategy Synthesis for Zero-Sum Neuro-Symbolic Concurrent Stochastic Games [31.51588071503617]
  ニューロシンボリック・コンカレントゲーム(NS-CSG)と呼ばれる新しいモデリング形式を提案する。 本稿では,ボレル状態空間を持つNS-CSGのクラスに着目し,ゼロサム割引累積報酬に対する値関数の存在と可測性を証明する。 我々は,この連続状態CSGの新たなサブクラスを解くために,実用的価値反復(VI)とポリシー反復(PI)アルゴリズムを初めて提示する。
  論文  参考訳（メタデータ） (2022-02-13T08:39:00Z)
• SCORE: Approximating Curvature Information under Self-Concordant Regularization [0.0]
  本稿では,新たな入力を受信するたびに最小化速度を更新する自己調和正規化アルゴリズム(GGN-SCORE)を提案する。 提案アルゴリズムはヘッセン行列の2階情報構造を利用して計算オーバーヘッドを削減する。
  論文  参考訳（メタデータ） (2021-12-14T13:03:04Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。