論文の概要: Uncertainty-Aware Token Importance Estimation in Spiking Transformers

• arxiv url: http://arxiv.org/abs/2605.09276v1
• Date: Sun, 10 May 2026 02:54:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.160955
• Title: Uncertainty-Aware Token Importance Estimation in Spiking Transformers
• Title（参考訳）: スパイキングトランスにおける不確実性を考慮したトークン重要度推定
• Authors: Wenxuan Liu, Zecheng Hao, Tong Bu, Yuran Wang, Zhaofei Yu,
• Abstract要約: スパイキングトランスフォーマーは、ニューロモルフィックな視覚に強い可能性を示しているが、そのトークン処理は複数のスパイキングステップにまたがっても、かなりの冗長性と推論コストをもたらす。 スパイキングトランスのためのフリー・プラグ・アンド・プレイトークン重要度推定フレームワークUncertを提案する。
• 参考スコア（独自算出の注目度）: 62.69151655133869
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking transformers have shown strong potential for neuromorphic vision, yet their token processing across multiple spiking steps still introduces substantial redundancy and inference cost. Existing token reduction methods mainly rely on response based cues, such as activation magnitude, firing statistics, or feature similarity. Although effective, these criteria do not explicitly characterize token importance from the perspective of temporally evolving class evidence. In spiking transformers, token representations are progressively formed across multiple spiking steps rather than determined at a single instant, suggesting that token importance should be evaluated not only by instantaneous responses but also by temporal uncertainty patterns. Our key observation is that tokens exhibit heterogeneous uncertainty trajectories over time, and that their temporally aggregated uncertainty statistics provide an effective cue for distinguishing informative tokens from redundant ones. Motivated by this, we propose Uncert, a training free and plug and play token importance estimation framework for spiking transformers. Specifically, Uncert models token wise class evidence with a Dirichlet distribution and summarizes each token temporal uncertainty using its mean and fluctuation across spiking steps, yielding an uncertainty aware importance score for token reduction during inference. Experiments on both static and neuromorphic benchmarks show that Uncert achieves favorable accuracy and efficiency tradeoffs, with the most consistent gains observed under token pruning. Further analysis reveals a clear empirical connection between temporal uncertainty patterns and token contribution, offering new insights into token dynamics in spiking transformers.
• Abstract（参考訳）: スパイキングトランスフォーマーは、ニューロモルフィックな視覚に強い可能性を示しているが、そのトークン処理は複数のスパイキングステップにまたがっても、かなりの冗長性と推論コストをもたらす。 既存のトークン還元法は主に、アクティベーションサイズ、発火統計、特徴類似性など、応答に基づく方法に依存している。 有効ではあるが、これらの基準は時間的に進化するクラス証拠の観点からトークンの重要性を明示的に特徴づけるものではない。 スパイキングトランスでは、トークン表現は1つの瞬間で決定されるのではなく、複数のスパイキングステップで徐々に形成され、トークンの重要性は即時応答だけでなく、時間的不確実性パターンによって評価されるべきである。 我々のキーとなる観察は、トークンは時間とともに不均一な不確実性軌道を示し、それらの時間的に集約された不確実性統計は、冗長なトークンと情報的トークンを区別するための効果的な手がかりとなることである。 提案するUncertは,変圧器をスパイクするための学習用フリープラグおよびプレイ用トークン重要度推定フレームワークである。 具体的には、Uncertモデルでは、ディリクレ分布を用いたトークンの賢明なクラス証拠をモデル化し、各トークンの時間的不確実性を平均とスパイキングステップ間の揺らぎを用いて要約し、推論中にトークンの減少に対する不確実性を考慮した重要なスコアを得る。 静的およびニューロモルフィックベンチマークの実験により、アンサートはトークンプルーニングの下で最も一貫した利得を観測し、良好な精度と効率のトレードオフを達成することが示された。 さらなる分析により、時間的不確実性パターンとトークンコントリビューションの間に明らかな実証的な関係が明らかとなり、スパイキングトランスフォーマーにおけるトークンダイナミクスに関する新たな洞察が提供される。

関連論文リスト

• Stochasticity in Tokenisation Improves Robustness [24.37716137082741]
  入力のトークン化の摂動における脆弱性は、決定論的正準トークン化で訓練されたモデルは、敵の攻撃に対して脆弱であることを示している。 近年の研究では、トークン化は摂動に敏感でない内部表現をもたらすことが示唆されている。
  論文  参考訳（メタデータ） (2026-04-17T13:05:46Z)
• Rényi Entropy: A New Token Pruning Metric for Vision Transformers [7.739339395706548]
  セマンティック表現がまだ未成熟な初期層では[]トークンは信頼できないと我々は主張する。 我々は,レニイエントロピーから派生した,トレーニング不要なトークン重要度指標であるCol-Lnを提案する。 我々のアプローチは、様々なベンチマークで最先端のプルーニング手法より一貫して優れています。
  論文  参考訳（メタデータ） (2026-03-29T23:01:45Z)
• Probability-Entropy Calibration: An Elastic Indicator for Adaptive Fine-tuning [55.2818264614932]
  RankTunerは確率エントロピーキャリブレーション信号、相対ランクインジケータを導入し、予測分布の下で接地トラストークンのランクと期待ランクを比較する。 逆インジケータはトークン単位の相対尺度として使用され、微調整の目的を再重み付けし、真に未学習のトークンを更新する。
  論文  参考訳（メタデータ） (2026-02-02T07:27:19Z)
• Training-Free Token Pruning via Zeroth-Order Gradient Estimation in Vision-Language Models [16.540220733551823]
  VLM(Large Vision-Language Models)は、強力なマルチモーダル推論を実現するが、冗長な視覚トークンから重い推論コストを発生させる。 注意に基づく手法は、しばしばレイヤやヘッド間で不安定な生の注意スコアに依存する。 簡単な直感に基づいて構築されたトレーニング不要のフレームワークとして,我々の提案する。
  論文  参考訳（メタデータ） (2025-09-29T14:20:05Z)
• Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
  In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。 最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。 本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
  論文  参考訳（メタデータ） (2025-07-28T00:09:28Z)
• Token Pruning in Audio Transformers: Optimizing Performance and Decoding Patch Importance [0.48342038441006796]
  We apply token pruning to ViT-based audio classification model using Mel-spectrograms。 パッチ内の信号の強度や変動にのみ基づくプルーニングは、顕著な精度低下につながることを示す。
  論文  参考訳（メタデータ） (2025-04-02T12:44:38Z)
• Uncertainties of Latent Representations in Computer Vision [2.33877878310217]
  この論文は、事前訓練されたコンピュータビジョンモデルの潜在表現ベクトルにそれらを追加することで、不確実性推定を容易にアクセスできるようにする。 観測不可能な潜在表現に関するこれらの観測不可能な不確実性は、確実に正しいことを示す。
  論文  参考訳（メタデータ） (2024-08-26T14:02:30Z)
• An Analysis of Attention via the Lens of Exchangeability and Latent Variable Models [64.87562101662952]
  入力トークンは、位置エンコーディングを含むため、しばしば交換可能であることを示す。 我々は入力トークンの十分かつ最小限の表現の存在を確立する。 所望パラメータの注意が近似誤差まで潜伏した後部を推定することを証明する。
  論文  参考訳（メタデータ） (2022-12-30T17:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。