論文の概要: Rethinking the Tradeoff Between Temporal Encoding and Nonlinear Computation in Spiking Language Models
- arxiv url: http://arxiv.org/abs/2610.10933v1
- Date: Wed, 07 Oct 2026 21:41:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.680757
- Title: Rethinking the Tradeoff Between Temporal Encoding and Nonlinear Computation in Spiking Language Models
- Title（参考訳）: スパイキング言語モデルにおける時間符号化と非線形計算のトレードオフの再考
- Abstract要約: スパイキング言語モデルは、短時間の時間的ウィンドウ上での意味的特徴を表現することと、コストのかかる非線形の注意操作を維持することのトレードオフに直面します。
スパイクエンコーディングとアテンション演算子を共同で設計するSporaを紹介する。
Spora は平均 GLUE スコア 76.6 と CoLA MCC 44.1 を獲得し、それぞれ SpikeLM 1.2 と 6.2 で改善した。
- 参考スコア（独自算出の注目度）: 6.546302603471083
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking language models face a tradeoff between representing continuous semantic features over short temporal windows and retaining costly nonlinear attention operations. We introduce Spora, which jointly designs spike encodings and attention operators. Binary temporal weights let $T$ spikes represent compositional values with up to $T$ bits of capacity, compared with $O(\log_2 T)$ bits for spike-count readout. Unipolar Binary Spiking (UBS) uses thresholds and spike-triggered residual decay to produce non-negative integer codes; Bipolar Binary Spiking (BBS) separates sign and magnitude and learns a scale for signed activations. These representations support accumulation-and-shift dot products and integer-exponent mappings in attention. With four time steps, Spora achieves 76.6 average GLUE score and 44.1 CoLA MCC, improving over SpikeLM by 1.2 and 6.2 points, respectively. Extending BBS to six steps raises these scores to 78.2 and 47.4. Conditional-decay analysis, matched-budget activation-quantization comparisons, event-workload statistics, and fixed-point evaluation further characterize the connection between encoding fidelity and computational cost.
- Abstract（参考訳）: スパイキング言語モデルは、短い時間的ウィンドウ上で連続的な意味的特徴を表現することと、コストがかかる非線形の注意操作を維持することのトレードオフに直面します。
スパイクエンコーディングとアテンション演算子を共同で設計するSporaを紹介する。
バイナリ時間重みにより、$T$スパイクは最大で$T$ビットの合成値を表す。
Unipolar Binary Spiking (UBS) は閾値とスパイクトリガーによる残留崩壊を利用して非負の整数符号を生成する。
これらの表現は、注目の集積とシフトのドット積と整数の指数写像をサポートする。
4つのタイムステップで、スポラは平均 GLUE スコア76.6 と CoLA MCC44.1 を獲得し、それぞれSpikeLM 1.2 と 6.2 で改善した。
BBSを6ステップに拡張すると、スコアは78.2と47.4に上昇する。
コンディション・デケイ解析, 一致予算のアクティベーション量子化比較, イベント・ワークロード統計, 固定点評価により, 符号化忠実度と計算コストの関連性をさらに特徴付ける。
関連論文リスト
- H2CE: Modeling Geo-Semantic Interactions for POI Reranking with Heterogeneous Two-Stage Cross-Encoders [50.334243169621175]
ローカル検索におけるPOI(Point-of-Interest)の再ランクは、クエリ条件付きトレードオフをモデル化する必要がある。
遅延バウンドPOIリグレードのための異種二段クロスエンコーダH2CEを提案する。
論文 参考訳（メタデータ） (2026-10-08T05:40:08Z) - STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization [69.66473136337653]
デルタルール再帰状態の学習後量子化のためのフレームワークSTEPQuantを提案する。
STEPQuantはエラーのマグニチュードとメモリ寿命に応じて精度を割り当てる。
5倍以上のリカレントステート圧縮を実現し、全サービスメモリを最大68.7%削減する。
論文 参考訳（メタデータ） (2026-09-29T17:59:40Z) - Attention-Enhanced Dual-Branch ConvNeXt-BiLSTM Network for Subject-Independent EEG Seizure Detection [2.320417845168326]
本稿では,同じ脳波セグメントから時間的・時間的表現を共同で学習する2分岐ネットワークを提案する。
このモデルには28.26万のパラメータと4.56 GFLOPが必要で、ネットワークのみの推論遅延は1セグメントあたり4.64ミリ秒である。
論文 参考訳（メタデータ） (2026-08-25T14:35:22Z) - An Embedded RISC-V Evaluation of Kolmogorov--Arnold Networks in Hard-Constrained Recurrent Physics-Informed Models [0.0]
Kolmogorov--Arnold Networks (KAN) は多層パーセプトロン (MLP) の効率的な代替として提案されている。
本稿では,パラメータ効率がデプロイに有効かどうかを問う。
論文 参考訳（メタデータ） (2026-08-01T16:20:24Z) - SymbolicLight V1: Spike-Gated Dual-Path Language Modeling with High Activation Sparsity and Sub-Billion-Scale Pre-Training Evidence [8.419155861590548]
SymbolicLight V1はスパイクゲートのデュアルパス言語モデルである。
バイナリのLeaky Integrate-and-Fireスパイクダイナミクスと連続的な残留ストリームを組み合わせたものだ。
PPL 8.88-8.93は4つの独立した実行で1要素あたりのアクティベーション間隔が89%である。
論文 参考訳（メタデータ） (2026-05-20T16:00:20Z) - Towards Joint Quantization and Token Pruning of Vision-Language Models [53.978753457744055]
トークンプルーニングと低ビット量子化は、推論コストの削減を補完する。
我々は、低ビット推論と決定論的視覚トーケンプルーニングを統一する協調量子化&プルーニングフレームワークを提案する。
標準VLMベンチマークの実験では、同じ低ビット状態下でのステージワイドベースラインよりもロバスト性が改善された。
論文 参考訳（メタデータ） (2026-04-19T08:18:29Z) - A High-Accuracy Optical Music Recognition Method Based on Bottleneck Residual Convolutions [0.036971941442545786]
光音楽認識は、印刷または手書きの楽譜画像を編集可能な記号表現に変換することを目的としている。
本稿では、残差ボトルネック畳み込みと双方向ゲート再帰ユニット(BiGRU)に基づくシーケンスモデリングを組み合わせたエンドツーエンドのOMRフレームワークを提案する。
Camera-PrIMuSとPrIMuSデータセットの実験結果から,提案フレームワークの有効性が示された。
論文 参考訳（メタデータ） (2026-04-07T14:32:16Z) - Token-Level Inference-Time Alignment for Vision-Language Models [58.41370989069588]
VLM(Vision-Language Models)は、現代のマルチモーダルインテリジェンスの重要なバックボーンとなっている。
本稿では,基本VLMを凍結し,その分布を近似する報酬モデルをトレーニングする軽量フレームワークTITAを提案する。
推測中、暗黙の選好信号は報酬モデルと目標VLMの対数確率比として抽出され、密集した自己回帰フィードバックが得られる。
論文 参考訳（メタデータ） (2025-10-20T09:58:03Z) - TCNCA: Temporal Convolution Network with Chunked Attention for Scalable
Sequence Processing [52.64837396100988]
MEGAは最近のトランスフォーマーベースのアーキテクチャで、線形リカレント演算子を使用し、並列計算はFFTに基づいて、$O(LlogL)$で、$L$はシーケンス長である。
線形再帰を特別な時間的畳み込みネットワークに置き換えることで、より浅いネットワークでより大きい受容場を許容し、計算複雑性を$O(L)$に減らし、それらのアプローチを構築する。
我々は,EnWik8言語モデリングにおけるTCNCA,LRA(Long-range-arena)シーケンス分類,および合成推論ベンチマーク連想リコールの評価を行った。
論文 参考訳（メタデータ） (2023-12-09T16:12:25Z) - Listen Attentively, and Spell Once: Whole Sentence Generation via a
Non-Autoregressive Architecture for Low-Latency Speech Recognition [66.47000813920619]
我々はLASOと呼ばれる非自己回帰型エンドツーエンド音声認識システムを提案する。
非自己回帰性のため、LASOは他のトークンに依存することなくシーケンス内のテキストトークンを予測する。
我々は,中国における公開データセットAISHELL-1の実験を行った。
論文 参考訳（メタデータ） (2020-05-11T04:45:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。