論文の概要: Event-triggered Implicit Perturbation for Zeroth-Order Fine-Tuning of Spiking Transformers

• arxiv url: http://arxiv.org/abs/2608.21223v1
• Date: Fri, 21 Aug 2026 15:32:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.623386
• Title: Event-triggered Implicit Perturbation for Zeroth-Order Fine-Tuning of Spiking Transformers
• Title（参考訳）: スパイキング変圧器のゼロ次微調整のためのイベントトリガーインシシット摂動
• Abstract要約: イベントトリガー式摂動生成ユニット(PGU)は、スパイク活性化重み列のみに摂動寄与を生成し蓄積する。 アドレス駆動型XOR組換えスキーム(PGU-XOR)は直接RNG再利用(PGU-Reuse)による空間相関を緩和する IPZOは、B=64のバッチサイズとT=4のタイムステップに対して、従来の明示的な重量摂動の0.46x-0.83xまで摂動エネルギーを減少させる。
• 参考スコア（独自算出の注目度）: 26.469490440277315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Zeroth-order (ZO) optimization estimates gradients using only forward-pass evaluations, making it suitable for fine-tuning non-differentiable, event-driven spiking neural networks (SNNs). However, its deployment on in-memory computing (IMC) accelerators is constrained by the repeated read-modify-write (RMW) operations arising from explicit weight perturbation and the prohibitive hardware footprint of random number generators (RNGs) for statistically independent per-weight perturbations. To address these challenges, we propose an implicit-perturbation ZO (IPZO) architecture in which perturbation sums computed by an event-triggered perturbation generation unit (PGU) are combined with the weighted sums produced by the IMC array, eliminating perturbation-induced RMW operations while preserving weight-stationary execution of IMC. By exploiting spike sparsity, the PGU generates and accumulates perturbation contributions only for spike-activated weight rows, reducing the required row dimension of the RNG array. An address-driven XOR recombination scheme (PGU-XOR) is further introduced to mitigate the spatial correlations caused by direct RNG reuse (PGU-Reuse). The results show that (1) PGU-XOR matches software RNGs in accuracy on Spikingformer/CIFAR-10 (76.41% vs. 76.53%) and perplexity (PPL) on SpikeGPT/WikiText-2 (54.20 vs. 53.23), whereas PGU-Reuse degrades accuracy by 9.56 percentage points and increases PPL by 11.8; (2) implemented in a TSMC 16-nm CMOS technology, PGU-XOR incurs 40.3%-46.0% area and 15.2%-48.9% energy overhead per matrix-vector multiplication relative to PGU-Reuse, yet its faster convergence reduces the total perturbation energy to 0.51x that of PGU-Reuse at iso-accuracy; (3) IPZO reduces the perturbation energy to 0.46x-0.83x that of conventional explicit weight perturbation for a batch size of B=64 and T=4 time steps, with the advantage growing as BT decreases.
• Abstract（参考訳）: ゼロオーダー(ZO)最適化は、フォワードパス評価のみを使用して勾配を推定し、微調整不能なイベント駆動スパイクニューラルネットワーク(SNN)に適している。 しかし、メモリ内コンピューティング(IMC)アクセラレーターへの展開は、明示的な重みの摂動と統計的に独立な1重みの摂動のためにランダム数生成器(RNG)のハードウェアフットプリントから生じる繰り返しリード・モディファイド・ライト(RMW)操作によって制限されている。 これらの課題に対処するために、イベントトリガー付き摂動生成ユニット(PGU)によって計算される摂動和とICCアレイが生成する重み付け和を組み合わせ、IMCの重み付き実行を保ちながら摂動誘起RMW操作を除去する暗黙的摂動ZO(IPZO)アーキテクチャを提案する。 スパイク間隔を利用することで、PGUはスパイク活性化重み列のみに摂動寄与を生成し蓄積し、RNGアレイの必要行次元を減少させる。 さらに、直接RNG再利用(PGU-Reuse)による空間相関を緩和するために、アドレス駆動型XOR組換えスキーム(PGU-XOR)を導入する。 その結果,(1) PGU-XORはSpikeformer/CIFAR-10 (76.41% vs. 76.53%) の精度,およびSpikeGPT/WikiText-2 (54.20 vs. 53.23) のパープレキシティ (PPL) でソフトウェア RNG と一致し,(2) TSMC 16-nm CMOS技術で実装されたPGU-XOR incurs 40.3%-46.0%,および15.2%-48.9% のエネルギーオーバーヘッドを持つことがわかった。

関連論文リスト

• Accelerating Diffusion Transformers with Gaussian Process Rectified Feature Cache [17.39547918764814]
  拡散変換器は、生成AIにおいて支配的なパラダイムとなっているが、その高い計算コストはリアルタイム応用を妨げる。 予測に基づく特徴キャッシングは拡散変圧器の高速化に広く用いられているが、ステップ数が増えるにつれて、その予測と参照完全軌道の偏差は徐々に増大する。 直感的なアイデアは、オンライン回帰モデルを使ってこの偏差を動的に補正することだが、加速プロセス中にラベルデータが利用できないという問題に直面している。 本稿では,キャッシュ手法と参照フルコンプットトラジェクトリによる全計算ステップの特徴間の残差が局所的に現れるという統計的観察を提案する。
  論文  参考訳（メタデータ） (2026-09-05T08:54:54Z)
• PCGD: Physics-Guided Conditional Graph Diffusion for TCAD Device Simulation [9.52305650797911]
  非構造化TCADメッシュ上で動作する物理誘導型条件付きグラフ拡散フレームワークPCGDを紹介する。 PCGDは静電場とキャリア密度場の結合を予測する。 剛体ドリフト拡散方程式の典型的な数値不安定性を回避できる。
  論文  参考訳（メタデータ） (2026-06-28T08:40:41Z)
• HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization [48.87937677659571]
  本稿では, HARP (Hadamard-preconditioned Adaptive Rotation Processor) を導入する。 1Bから70Bまでのモデルの2-4ビット設定では、HARPは固定RHTよりもパープレキシティとゼロショット精度を改善している。 HarPはデプロイ効率を保ち、FP16では128トン/秒、61トン/秒に達する。
  論文  参考訳（メタデータ） (2026-05-28T12:24:15Z)
• GoQuant: Geometric Orthogonal Residual Projection for Multiplier-Free Power-of-Two Transformer Quantization [4.700954456190739]
  エッジデバイス上の大規模言語モデル (LLM) とビジョントランスフォーマー (ViT) は、メモリ制限と、密度の高いマルチプライアキュムレート (MAC) 配列によって引き起こされる重要なタイミングボトルネックによって制約される。 超低ビット状態において、対数パワー・オブ・ツー(PoT)量子化はMAC演算をビットシフトで置き換えることで、ハードウェア効率の良い代替手段を提供する。 本稿では,アルゴリズム・ハードウェアの共同設計フレームワークであるGeometric Orthogonal Residual Projection Quantization (GoQuant)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T17:52:46Z)
• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• LiQSS: Post-Transformer Linear Quantum-Inspired State-Space Tensor Networks for Real-Time 6G [85.58816960936069]
  Sixth-Generation (6G) Open Radio Access Networks (O-RAN) における能動的およびエージェント的制御は、厳密なニアタイム(Near-RT)レイテンシと計算制約の下で制御グレードの予測を必要とする。 本稿では,効率的な無線テレメトリ予測のための変圧器後パラダイムについて検討する。 本稿では、自己アテンションを安定な状態空間動的カーネルに置き換える量子インスピレーション付き状態空間テンソルネットワークを提案する。
  論文  参考訳（メタデータ） (2026-01-18T12:08:38Z)
• DS-CIM: Digital Stochastic Computing-In-Memory Featuring Accurate OR-Accumulation via Sample Region Remapping for Edge AI Models [8.92683306412944]
  本稿では,高い精度と効率を実現するデジタルCIM(DS-CIM)アーキテクチャを提案する。 データ表現を変更することで、コンパクトで符号のないORベースの回路に乗算累積(MAC)を実装する。 我々のコア戦略である2Dの共有ランダム数生成器(PRNG)は、単一サイクルの排他的アクティベーションによりORゲート衝突を排除します。
  論文  参考訳（メタデータ） (2026-01-10T23:56:33Z)
• Incorporating rank-free coupling and external field via an amplitude-only modulated spatial photonic Ising machine [9.200306681745994]
  空間フォトニックイジングマシン(SPIM)は、マルチノード最適化とスピンガラスシミュレーションにおいて優れている。 本稿では,200回/秒の振幅のみ変調された空間フォトニックイジングマシン(AR-SPIM)を実演する。 任意のイジング・ハミルトニアンをアダマール積の和として再定式化することにより、外部場を持つ 797-スピンイジングモデルを非コヒーレント光場に写像する。
  論文  参考訳（メタデータ） (2025-12-25T09:11:48Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• Pruning Redundant Mappings in Transformer Models via Spectral-Normalized Identity Prior [54.629850694790036]
  スペクトル正規化アイデンティティ事前 (SNIP) は、トランスフォーマーモデルにおける残余モジュール全体をアイデンティティマッピングに向けてペナライズする構造化プルーニング手法である。 5つのGLUEベンチマークタスクでBERTを用いて実験を行い、SNIPが同等の性能を維持しながら効率的な刈り取り結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-10-05T05:40:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。