論文の概要: WNet: Discrete Wavelets Transform for Efficient Token Mixing

• arxiv url: http://arxiv.org/abs/2610.04720v1
• Date: Sat, 03 Oct 2026 19:20:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 17:27:18.784815
• Title: WNet: Discrete Wavelets Transform for Efficient Token Mixing
• Title（参考訳）: WNet: 効率的なトークン混合のための離散ウェーブレット変換
• Abstract要約: WNetは、トークンミキシングによる自己アテンションを置き換えるTransformerエンコーダである。 受信フィールド分析は、Haarのような2タップのフィルタで構築されたウェーブレットミキサーが固定ブロックの外でトークンを関連付けることはないことを示している。 トークンゲート式ミキサーは256個のトークンで、さらに4,096個のトークンで2.7倍の速度で走行する。
• 参考スコア（独自算出の注目度）: 6.179780096766344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In a Transformer, token mixing is the step that lets each token draw information from other tokens, and it dominates the cost of encoding long sequences. Self-attention does this mixing very well: every token weighs every other token by content, which gives strong contextual modeling. That all-pairs comparison is also why its cost grows quadratically with sequence length. We introduce WNet, a Transformer encoder that replaces self-attention with token mixing based on the discrete wavelet transform (DWT). Three attention-free mixers recombine the scales: by linear fusion, by learned gating, or by letting each token choose its scales. A hybrid adds self-attention in the last layer only. A receptive-field analysis shows that wavelet mixers built from two-tap filters, such as Haar, never relate tokens outside fixed blocks, however deep the network, even when the filters are learned. Longer filters reach the whole sequence within two layers. We pre-train every model with masked language modeling on a fixed-token subset of C4 and fine-tune on GLUE, using one controlled setup with size-matched BERT and FNet baselines and a control that cannot mix tokens. The token-gated mixer trains as fast as attention at 256 tokens and 2.7 times faster at 4,096.
• Abstract（参考訳）: Transformerでは、トークンミキシングは、トークンが他のトークンから情報を引き出すことができるステップであり、長いシーケンスをエンコードするコストを支配します。 すべてのトークンはコンテンツごとに他のトークンを重み付け、強いコンテキストモデリングを提供します。 この全対比較は、コストがシークエンスの長さの2倍に増加する理由でもある。 本稿では,離散ウェーブレット変換(DWT)に基づくトークンミキシングにより自己アテンションを置き換えるトランスフォーマーエンコーダであるWNetを紹介する。 3つの注意のないミキサーは、線形融合、学習ゲーティング、または各トークンがスケールを選択することでスケールを再結合する。 ハイブリッドは最後のレイヤにのみ自己注意を追加する。 受信フィールド分析では、Haarのような2タップのフィルタで構築されたウェーブレットミキサーは固定ブロックの外側のトークンを決して関連付けることはないが、フィルタが学習された場合でもネットワークの奥深くにあることを示している。 長いフィルタは、2つの層の中でシーケンス全体に到達する。 我々は、サイズマッチングされたBERTとFNetベースラインとトークンを混合できないコントロールを用いて、C4の固定トークンサブセットとGLUEのファインチューンにマスク付き言語モデリングを施したすべてのモデルを事前訓練する。 トークンゲート式ミキサーは256個のトークンで、さらに4,096個のトークンで2.7倍の速度で走行する。

関連論文リスト

• TANGO: Watermarking Masked Diffusion Language Models in Token Pairs [64.75516595651347]
  Masked-diffusion言語モデルは、マスクされた位置を平行に、固定順序で埋める。 TANGOは、マスク付き拡散言語モデルの透かしで、新しいトークンを、既にマスクされていない近くのトークンにキーする。
  論文  参考訳（メタデータ） (2026-09-28T14:08:33Z)
• Trading Depth for Time in Recurrent Transformers [61.2977190038771]
  リカレント・トランスフォーマーは時間的繰り返しによって計算深度を増大させる。 追加の計算は、より時間的なステップやより深い物理深度に費やされているか? 本稿では,復号化時に語彙単位のバックボーンフォワードパスを保持するLRT(Latent Recurrent Transformer)を用いて,この問題を考察する。
  論文  参考訳（メタデータ） (2026-09-18T10:34:51Z)
• DTRNet: Dynamic Token Routing Network to Reduce Quadratic Costs in Transformers [28.595962720945348]
  変換器は多くのタスクにまたがって最先端の結果を得るが、2次自己注意の均一な適用により計算コストがかかる。 改良されたトランスフォーマーアーキテクチャであるDynamic Token Routing Networkを導入し、トークンがクロストークンミキシングの2次コストを動的にスキップできるようにする。
  論文  参考訳（メタデータ） (2025-08-31T16:21:21Z)
• Token Fusion: Bridging the Gap between Token Pruning and Token Merging [71.84591084401458]
  ビジョントランスフォーマー(ViT)はコンピュータビジョンの強力なバックボーンとして登場し、多くの伝統的なCNNを上回っている。 計算オーバーヘッドは、主に自己アテンション機構によるもので、リソース制約のあるエッジデバイスへのデプロイが困難になる。 トークンプルーニングとトークンマージの両方のメリットを両立させる手法であるToken Fusion(ToFu)を紹介する。
  論文  参考訳（メタデータ） (2023-12-02T04:29:19Z)
• Dynamic Token-Pass Transformers for Semantic Segmentation [22.673910995773262]
  セマンティックセグメンテーションのための動的トークン・パス・ビジョン・トランスフォーマー(DoViT)を導入する。 DoViTは、部分的に簡単なトークンを自己注意計算から徐々に停止させ、停止基準を満たすまでハードトークンを前進させ続ける。 提案手法は, 約40%$sim$ 60% FLOPsを低減し, mIoUの低下は, 各種セグメンテーション変圧器の0.8%以内である。
  論文  参考訳（メタデータ） (2023-08-03T06:14:24Z)
• Scan and Snap: Understanding Training Dynamics and Token Composition in 1-layer Transformer [37.37547759817417]
  トランスフォーマーアーキテクチャは、複数の研究領域で顕著な性能を示している。 我々は、次のトークン予測タスクのためのSGDトレーニングダイナミクスを解析する。 自己注意が自己識別型スキャンアルゴリズムとして機能することを証明する。
  論文  参考訳（メタデータ） (2023-05-25T15:59:13Z)
• Token-Label Alignment for Vision Transformers [93.58540411138164]
  データ混合戦略(例えば、CutMix)は、畳み込みニューラルネットワーク(CNN)の性能を大幅に改善する能力を示している。 我々は,データ混合戦略の可能性を抑制するトークン変動現象を同定する。 本稿では,各トークンのラベルを保持するために,変換されたトークンと元のトークンとの対応をトレースするトークンラベルアライメント(TL-Align)手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T17:54:32Z)
• SWAT: Spatial Structure Within and Among Tokens [53.525469741515884]
  我々は,トークン化時に空間構造が保存される場合,モデルが顕著な利得が得られることを論じる。 本研究では,(1)構造認識のトークン化と(2)構造認識のミキシングという2つの重要なコントリビューションを提案する。
  論文  参考訳（メタデータ） (2021-11-26T18:59:38Z)
• DynamicViT: Efficient Vision Transformers with Dynamic Token Sparsification [134.9393799043401]
  入力に基づいて冗長なトークンを抽出する動的トークンスペーシフィケーションフレームワークを提案する。 入力トークンの66%を階層的にプルーニングすることで,FLOPの31%37%を大幅に削減し,スループットを40%以上向上する。 DynamicViTモデルは、ImageNetの最先端CNNやビジョントランスフォーマーと比較して、非常に競争力のある複雑性/精度のトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。