論文の概要: Token Fusion: Bridging the Gap between Token Pruning and Token Merging

• arxiv url: http://arxiv.org/abs/2312.01026v1
• Date: Sat, 2 Dec 2023 04:29:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 19:40:14.383195
• Title: Token Fusion: Bridging the Gap between Token Pruning and Token Merging
• Title（参考訳）: Token Fusion: Token PruningとToken Mergingのギャップを埋める
• Authors: Minchul Kim, Shangqian Gao, Yen-Chang Hsu, Yilin Shen, Hongxia Jin
• Abstract要約: ビジョントランスフォーマー(ViT)はコンピュータビジョンの強力なバックボーンとして登場し、多くの伝統的なCNNを上回っている。 計算オーバーヘッドは、主に自己アテンション機構によるもので、リソース制約のあるエッジデバイスへのデプロイが困難になる。 トークンプルーニングとトークンマージの両方のメリットを両立させる手法であるToken Fusion(ToFu)を紹介する。
• 参考スコア（独自算出の注目度）: 71.84591084401458
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformers (ViTs) have emerged as powerful backbones in computer vision, outperforming many traditional CNNs. However, their computational overhead, largely attributed to the self-attention mechanism, makes deployment on resource-constrained edge devices challenging. Multiple solutions rely on token pruning or token merging. In this paper, we introduce "Token Fusion" (ToFu), a method that amalgamates the benefits of both token pruning and token merging. Token pruning proves advantageous when the model exhibits sensitivity to input interpolations, while token merging is effective when the model manifests close to linear responses to inputs. We combine this to propose a new scheme called Token Fusion. Moreover, we tackle the limitations of average merging, which doesn't preserve the intrinsic feature norm, resulting in distributional shifts. To mitigate this, we introduce MLERP merging, a variant of the SLERP technique, tailored to merge multiple tokens while maintaining the norm distribution. ToFu is versatile, applicable to ViTs with or without additional training. Our empirical evaluations indicate that ToFu establishes new benchmarks in both classification and image generation tasks concerning computational efficiency and model accuracy.
• Abstract（参考訳）: ビジョントランスフォーマー(ViT)はコンピュータビジョンの強力なバックボーンとして登場し、多くの伝統的なCNNを上回っている。 しかし、その計算オーバーヘッドは、主にセルフアテンション機構によるもので、リソース制約のあるエッジデバイスへのデプロイを困難にしている。 複数のソリューションがトークンプルーニングやトークンマージに依存している。 本稿ではトークンプルーニングとトークンマージの両方の利点を両立させる手法であるToken Fusion(ToFu)を紹介する。 トケンプルーニングは、モデルが入力補間に対する感度を示すときに有利であり、一方、トークンマージは入力に対する線形応答に近いときに有効である。 これを組み合わせることで、token fusionと呼ばれる新しいスキームを提案します。 さらに,本質的な特徴ノルムを保たない平均マージの限界に対処し,分散シフトをもたらす。 そこで本研究では,SLERP手法の変種であるMLERPマージを導入し,標準分布を維持しつつ複数のトークンをマージする手法を提案する。 ToFuは多用途で、追加のトレーニングの有無にかかわらずViTに適用できる。 実験により,ToFuは,計算効率とモデル精度に関する分類タスクと画像生成タスクの両方において,新たなベンチマークを確立していることが示された。

関連論文リスト

• Video Token Merging for Long-form Video Understanding [17.59960070514554]
  学習可能なビデオトークンのマージアルゴリズムを提案し,その正当性に基づいて動的にトークンをマージする。 提案手法は,メモリコストを84%削減し,スループットをベースラインアルゴリズムに比べて約6.89倍向上させる。
  論文  参考訳（メタデータ） (2024-10-31T09:55:32Z)
• Bringing Masked Autoencoders Explicit Contrastive Properties for Point Cloud Self-Supervised Learning [116.75939193785143]
  画像領域における視覚変換器(ViT)のコントラスト学習(CL)は、従来の畳み込みバックボーンのCLに匹敵する性能を達成した。 ViTで事前訓練した3Dポイントクラウドでは、マスク付きオートエンコーダ(MAE)モデリングが主流である。
  論文  参考訳（メタデータ） (2024-07-08T12:28:56Z)
• Efficient Time Series Processing for Transformers and State-Space Models through Token Merging [44.27818172708914]
  トークンマージにより、視覚変換器アーキテクチャのスループットが大幅に向上することが示されている。 局所的マージとは、局所的な領域内でトークンを選択的に結合する、ドメイン固有のトークンマージアルゴリズムである。 最近提案されたクロノス基礎モデルでは, わずかな精度劣化のみを伴い, 5400%の加速を実現している。
  論文  参考訳（メタデータ） (2024-05-28T08:28:18Z)
• TokenUnify: Scalable Autoregressive Visual Pre-training with Mixture Token Prediction [61.295716741720284]
  TokenUnifyは、ランダムトークン予測、次のトークン予測、次のトークン予測を統合する新しい事前学習手法である。 TokenUnifyと共同で,超高解像度の大規模電子顕微鏡画像データセットを構築した。 このデータセットには1億2000万以上の注釈付きボクセルが含まれており、これまでで最大のニューロンセグメンテーションデータセットとなっている。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• Learned Thresholds Token Merging and Pruning for Vision Transformers [5.141687309207561]
  本稿では,トークンマージとトークンプルーニングの両方の長所を活用する新しいアプローチであるLTMP(Learned Thresholds token Merging and Pruning)を紹介する。 我々は、ImageNet分類タスクにおいて、視覚変換器に関する広範な実験を行い、我々のアプローチを実証する。
  論文  参考訳（メタデータ） (2023-07-20T11:30:12Z)
• Token-Label Alignment for Vision Transformers [93.58540411138164]
  データ混合戦略(例えば、CutMix)は、畳み込みニューラルネットワーク(CNN)の性能を大幅に改善する能力を示している。 我々は,データ混合戦略の可能性を抑制するトークン変動現象を同定する。 本稿では,各トークンのラベルを保持するために,変換されたトークンと元のトークンとの対応をトレースするトークンラベルアライメント(TL-Align)手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T17:54:32Z)
• Parameterization of Cross-Token Relations with Relative Positional Encoding for Vision MLP [52.25478388220691]
  視覚多層パーセプトロン(MLP)はコンピュータビジョンタスクにおいて有望な性能を示す。 トークンミキシングレイヤを使用して、トランスフォーマーが使用するマルチヘッド自己保持機構とは対照的に、クロストークンインタラクションをキャプチャする。 トークン混合のためのクロストークン関係を効率的に符号化する新しい位置空間ゲーティングユニット(PoSGU)を提案する。
  論文  参考訳（メタデータ） (2022-07-15T04:18:06Z)
• Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers [55.90468016961356]
  本稿では,Fourierドメインのミキシングを学習する効率的なトークンミキサーを提案する。 AFNOは、演算子学習の原則的基礎に基づいている。 65kのシーケンスサイズを処理でき、他の効率的な自己認識機構より優れている。
  論文  参考訳（メタデータ） (2021-11-24T05:44:31Z)
• CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification [17.709880544501758]
  異なるサイズの画像パッチを組み合わせて、より強力な画像特徴を生成するデュアルブランチトランスを提案します。 我々のアプローチは、異なる計算複雑性の2つの別々の分岐を持つ小さなパッチトークンと大きなパッチトークンを処理します。 私たちの提案するクロスアテンションは、計算とメモリの複雑さの両方に線形時間しか必要としない。
  論文  参考訳（メタデータ） (2021-03-27T13:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。