Fugu-MT 論文翻訳(概要): Lapis: Laplacian Spiking Attention via First-Spike Timing and Membrane Leakage

論文の概要: Lapis: Laplacian Spiking Attention via First-Spike Timing and Membrane Leakage

arxiv url: http://arxiv.org/abs/2608.11865v2
Date: Sun, 16 Aug 2026 15:45:06 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-18 13:30:43.581758
Title: Lapis: Laplacian Spiking Attention via First-Spike Timing and Membrane Leakage
Title（参考訳）: Lapis: ファーストスパイクタイピングと膜漏れによるラプラシアのスパイク注意
Abstract要約: 自己注意は視覚変換器のスパイクの中心となっているが、クエリキーのスコアリングはいまだに高密度ネットワークから受け継がれている。ラピス(Lapis)は、各トークン対を、クエリとキーファーストスパイク遅延ベクトルの間のL1距離でスコアする、スパイキングアテンション機構である。
参考スコア（独自算出の注目度）: 13.945851833337363
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Self-attention has become central to spiking vision transformers, yet its query-key scoring is still largely inherited from dense networks. Existing spiking variants either simplify dot product scoring or replace it with discrete operators, but spike timing, the native variable of a spiking network, does not directly define how tokens are related. We propose Lapis, a spiking attention mechanism that scores each token pair by the L1 distance between its query and key first-spike latency vectors under time-to-first-spike coding, and maps this distance to an affinity through a Laplacian kernel. The kernel's exponential decay matches the impulse response of a leaky integrate-and-fire membrane, so the accumulated latency difference determines the decay of a membrane trace, while row normalization reduces to a bit shift under power-of-two rounding. Scoring therefore needs only subtraction, absolute value, and accumulation, and removes all multiplication between query and key channels. Under a matched backbone and training schedule, Lapis reaches 96.56% top-1 accuracy on CIFAR-10, within 0.53 points of dot-product scoring. On ImageNet-1K, it reduces the estimated arithmetic energy of the attention path by 14.5x relative to dense dot-product attention. The deployed 6-bit model attains 83.25% top-1 accuracy at an estimated arithmetic energy of 3.28mJ per image.
Abstract（参考訳）: 自己注意は視覚変換器のスパイクの中心となっているが、クエリキーのスコアリングはいまだに高密度ネットワークから受け継がれている。既存のスパイキング変種はドット製品のスコアリングを単純化するか、離散演算子に置き換えるが、スパイキングネットワークのネイティブ変数であるスパイクタイミングは、トークンがどのように関連しているかを直接定義していない。本稿では,Laplacianカーネルを経由し,各トークン対をそのクエリと1次1次1次1次1次遅延ベクトル間のL1距離でスコアリングし,その距離を親和性にマッピングするLapisを提案する。カーネルの指数減衰は漏れた集積・燃焼膜のインパルス応答と一致するので、蓄積された遅延差は膜トレースの崩壊を決定するが、行正規化は2つのラウンドリングのパワーの下でビットシフトに減少する。したがって、スコーリングは減算、絶対値、蓄積のみを必要とし、クエリとキーチャネル間のすべての乗算を除去する。マッチしたバックボーンとトレーニングスケジュールの下で、ラピスは0.53ポイント以内のCIFAR-10で96.56%の精度でトップ-1に到達した。 ImageNet-1Kでは、注目経路の算術エネルギーを高密度のドット積に対する14.5倍に削減する。展開された6ビットモデルは、画像当たりの算術エネルギー3.28mJで83.25%のトップ-1の精度を達成している。

関連論文リスト

On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文参考訳（メタデータ） (2026-08-31T06:35:07Z)
A mesh-free multiresolution deep energy method with phase-field modeling of brittle fracture [3.177203247615157]
脆性破壊の位相場モデリングはき裂を明示的に追跡する必要をなくす。本稿では,1つのニューラルネットワークが変位場と位相場を表すメッシュフリーな離散化を提案する。
論文参考訳（メタデータ） (2026-08-25T06:36:14Z)
Active Spiking Perception: The Membrane Potential as a Belief State for Anytime 3D Point Cloud Recognition [1.9899603776429056]
スパイクポイントクラウドネットワークは通常、固定された入力に依存しない順序で空間をスキャンする。 Active Spiking Perception (ASP)は、3D認識を、ネットワークの漏洩した統合・火災(LIF)膜電位を反復的決定プロセスとして再放送し、クラス上で実行中の信念として読み上げ、次のチャンクを選択して、信頼に満ちた早期出口を観察しトリガーする。
論文参考訳（メタデータ） (2026-08-04T17:40:08Z)
Gradient Boosting within a Single Attention Layer [0.0]
一つの注意層内での勾配上昇促進の原理を応用したエンファングラディエントブーストアテンションを導入する。単一のHopfieldスタイルの更新によって、格納されたパターンサブスペースへの全てのクエリ情報が消去されることを示す。補正パスの別々の投影は、タキーのツイシングの共有射影アプローチに到達できない残留情報を復元することができる。
論文参考訳（メタデータ） (2026-04-03T17:06:08Z)
Synchrony-Gated Plasticity with Dopamine Modulation for Spiking Neural Networks [6.085945372100414]
Dopamine-Modulated Spike-Synchrony-Dependent Plasticity (DA-SSDP) は、損失に敏感な同期型規則である。 DA-SSDPは、バッチレベルでスパイクパターンを同期メトリックに凝縮する。
論文参考訳（メタデータ） (2025-12-08T06:10:44Z)
Ensemble Threshold Calibration for Stable Sensitivity Control [0.0]
本稿では,数千万組の幾何対もの幾何に対して,過度に分散した正確なリコールを実現するエンド・ツー・エンドのフレームワークを提案する。我々のアプローチは、小さなエラーで常にリコールターゲットにヒットし、他のキャリブレーションと比較して冗長な検証を減らし、単一のTPU v3コア上でエンドツーエンドで実行します。
論文参考訳（メタデータ） (2025-10-02T15:22:28Z)
SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse-Linear Attention [88.47701139980636]
Diffusion Transformer(DiT)モデルでは、特にビデオ生成において、注意遅延が大きなボトルネックとなっている。注目重量は2つの部分に分けられる: 高いランクの大型重量のごく一部と、非常に低いランクの残りの重量の2つである。本稿では,拡散モデルを高速化するために,疎度と直線的注意を融合させる訓練可能な注意法SLAを提案する。
論文参考訳（メタデータ） (2025-09-28T17:58:59Z)
TPLA: Tensor Parallel Latent Attention for Efficient Disaggregated Prefill and Decode Inference [48.40143137402824]
MLA(Multi-Head Latent Attention)は、キー値の状態を低ランクの潜在ベクトルに圧縮し、このベクトルだけをキャッシュしてメモリを減少させる。しかし、テンソル並列性(TP)では、アテンションヘッドは複数のデバイスにまたがって計算され、各デバイスはフルキャッシュをロードしなければならない。本稿では,潜在表現と各頭部の入力次元をデバイス間で分割し,シャード毎に独立して注目を行い,結果を全再現と組み合わせる方式であるTPLAを提案する。
論文参考訳（メタデータ） (2025-08-21T15:25:40Z)
Delta Attention: Fast and Accurate Sparse Attention Inference by Delta Correction [52.14200610448542]
変圧器は二次的な複雑さを持ち、長いシーケンスに対して高い推論コストとレイテンシをもたらす。本稿では、この分布シフトを修正するためのシンプルで斬新で効果的な手順を提案する。 1Mトークンのプリフィル処理では,Flash Attention 2の32倍の速度で,約98.5%の間隔を維持することができる。
論文参考訳（メタデータ） (2025-05-16T13:48:33Z)
SpirDet: Towards Efficient, Accurate and Lightweight Infrared Small Target Detector [60.42293239557962]
我々は、赤外線小ターゲットの効率的な検出のための新しいアプローチであるSpirDetを提案する。新しいデュアルブランチスパースデコーダを用いて特徴写像を復元する。大規模な実験により、提案されたSpirDetは最先端モデルよりも大幅に優れていることが示された。
論文参考訳（メタデータ） (2024-02-08T05:06:14Z)
Prune Spatio-temporal Tokens by Semantic-aware Temporal Accumulation [89.88214896713846]
STAスコアは、時間的冗長性と意味的重要性の2つの重要な要因を考慮に入れている。市販のビデオトランスフォーマーとビデオウィンにSTAモジュールを適用する。結果: Kinetics-400 と something-Something V2 は 30% のオーバーシェルフ削減を実現し,0.2% の精度低下を実現した。
論文参考訳（メタデータ） (2023-08-08T19:38:15Z)
Accelerating Attention through Gradient-Based Learned Runtime Pruning [9.109136535767478]
自己認識は、トランスフォーマーベースの自然言語処理モデルにおいて、最先端の精度を実現する重要な手段である。本稿では、学習の損失関数に組み込まれたソフトな微分可能正規化器による探索を定式化する。我々は、ビットレベルの早期終了マイクロアーキテクチャ機構を持つトランスフォーマー言語モデルに対して、LeOPArdと呼ばれるビットシリアルアーキテクチャを考案した。
論文参考訳（メタデータ） (2022-04-07T05:31:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。