論文の概要: Sparse Token Routing in Efficient Transformers

• arxiv url: http://arxiv.org/abs/2608.20632v1
• Date: Fri, 21 Aug 2026 00:15:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.295528
• Title: Sparse Token Routing in Efficient Transformers
• Title（参考訳）: 効率的な変圧器のスパーストークンルーティング
• Abstract要約: SEWNは、2ストリームトランスフォーマーで、学習ゲートを使用してトークンを軽量またはフル容量の処理によってルーティングする。 ゲートのトークン・インポータンス信号は,パラメータマッチングベースラインに対して無視可能な精度変化を生じさせるが,ゲートのトークン・インポータンス信号は学習方法に大きく依存する。
• 参考スコア（独自算出の注目度）: 22.49571926071395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient-transformer research often motivates token pruning and adaptive computation with the claim that not all tokens require equal computational effort. We test this claim end to end using SEWN, a two-stream Transformer that routes tokens through either lightweight or full-capacity processing using a learned gate. Across our experiments, routing introduces negligible accuracy change relative to parameter-matched baselines, while the gate's token-importance signal depends critically on how it is learned. A static lexicon-seeded prior fails a counterfactual faithfulness test on BoolQ, whereas a fully contextual gate achieves highly significant separation ($p<10^{-10}$) on both evaluated tasks without changing task accuracy.
• Abstract（参考訳）: 効率的な変換器の研究は、全てのトークンが同等の計算労力を必要とするわけではないという主張で、トークンのプルーニングと適応計算を動機付けていることが多い。 学習ゲートを用いてトークンを軽量またはフル容量の処理によってルーティングする2ストリームトランスフォーマであるSEWNを用いて、このクレームをエンドツーエンドでテストする。 実験全体を通して、ルーティングはパラメータマッチングされたベースラインに対して無視可能な精度変化をもたらす一方、ゲートのトークン重要信号は、その学習方法に批判的に依存する。 静的レキシコンシード前のテストは、BoolQ上の反実的忠実性テストに失敗するが、完全なコンテキストゲートは、タスクの精度を変えることなく、両方の評価されたタスク上で非常に重要な分離(p<10^{-10}$)を達成する。

関連論文リスト

• T-LoopFormer: Token-Level Elastic-Depth Looped Transformers for Latent Reasoning With Dynamic Routing [31.346695540393657]
  Looped Transformersは最近、推論と言語タスクの両方で強力なパフォーマンスを示している。 本研究では,ループ変換器のためのtextbfdynamic token-choice ルーティングを提案する。 動的ルータを使用してトークンの再帰を継続するか、早期に終了するかを決定し、単純なトークンが不要な計算をバイパスすることを可能にする。
  論文  参考訳（メタデータ） (2026-09-14T07:41:37Z)
• Revisiting Padded Transformer Expressivity: Which Architectural Choices Matter and Which Don't [78.36679389968772]
  パッド付き$textL$ constantprecision transformerは、表現性に対して驚くほど堅牢である。 glogd-looped constant-precision transformer reach $textFO-uniform TCd$, growing-precision transformer reach $textFO-uniform TCd$
  論文  参考訳（メタデータ） (2026-05-28T19:58:43Z)
• N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
  N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。 N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
  論文  参考訳（メタデータ） (2026-05-13T08:46:17Z)
• Lightweight Vulnerability Detection from Code Metrics and Token Features [0.0]
  このプリプリントは、生の関数テキストからのスパーストークンn-gramと安価なコードメトリクスの小さなセットを組み合わせた軽量な関数レベルの脆弱性トリアージパイプラインについて研究する。 以上の結果から, 単純トークンとメートル法の特徴は, 透過的ベースラインとして有用であるが, 表面の語彙的手がかりに敏感であり, クロスプロジェクト移動が限定的であることが示唆された。
  論文  参考訳（メタデータ） (2026-05-05T19:51:46Z)
• Adaptive Computation Depth via Learned Token Routing in Transformers [0.0]
  Token-Selective Attention (TSA) は、連続する変圧器ブロック間の残差更新について学習した1対1のゲートである。 TSAは、明示的な深度圧力を伴わずに、困難部分のルーティングを学習する。
  論文  参考訳（メタデータ） (2026-04-18T02:04:47Z)
• Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
  In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。 最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。 本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
  論文  参考訳（メタデータ） (2025-07-28T00:09:28Z)
• Is Less More? Exploring Token Condensation as Training-free Test-time Adaptation [43.09801987385207]
  対照的に、CLIP(Contrastive Language- Image Pretraining)は、一般化可能な画像表現の学習において優れているが、特定のデータセットのゼロショット推論では不足することが多い。 テスト時間適応(TTA)は、正規化レイヤやコンテキストプロンプトなどのコンポーネントを調整することでこの問題を軽減するが、通常は大きなバッチサイズと広範な拡張を必要とする。 本稿では,TCA(Token Condensation as Adaptation)を提案する。
  論文  参考訳（メタデータ） (2024-10-16T07:13:35Z)
• Dual-Path Adversarial Lifting for Domain Shift Correction in Online Test-time Adaptation [59.18151483767509]
  テスト時間適応におけるドメインシフト補正のためのデュアルパストークンリフトを導入する。 次に、インターリーブされたトークン予測とドメインシフトトークンのパスとクラストークンのパスの間の更新を行う。 評価実験の結果,提案手法はオンライン完全テスト時間領域適応性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-08-26T02:33:47Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• Learned Token Pruning for Transformers [39.181816379061374]
  Learned Token Pruning ()メソッドは、データがトランスフォーマーの異なるレイヤを通過すると、冗長なトークンを減らす。 複数のGLUEタスクに対して,提案手法の性能を広範囲に検証する。 予備的な結果はTesla T4とIntel Haswellの1.4倍と1.9倍のスループット向上を示す。
  論文  参考訳（メタデータ） (2021-07-02T09:00:13Z)
• DoT: An efficient Double Transformer for NLP tasks with tables [3.0079490585515343]
  DoTは、問題を2つのサブタスクに分解するダブルトランスフォーマーモデルである。 少ない精度でDoTはトレーニング時間と推論時間を少なくとも50%改善することを示した。
  論文  参考訳（メタデータ） (2021-06-01T13:33:53Z)
• Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
  diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。 diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
  論文  参考訳（メタデータ） (2020-12-14T12:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。