論文の概要: Decoder-Agnostic Token Merging for Vision Transformers: A Systematic Study of G2TM

• arxiv url: http://arxiv.org/abs/2609.18279v1
• Date: Wed, 16 Sep 2026 08:02:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.704322
• Title: Decoder-Agnostic Token Merging for Vision Transformers: A Systematic Study of G2TM
• Title（参考訳）: 視覚変換器のデコーダ非依存トケマージ:G2TMの系統的研究
• Abstract要約: グラフガイドによるトークンマージ(G2TM)をViTベースのネットワークに拡張する。 3つのセマンティックセグメンテーションフレームワークと3つのデコーダファミリーでG2TMを評価する。 G2TMは画像分類によく似ており、セマンティックセグメンテーションに比べて精度の低下がさらに小さい。
• 参考スコア（独自算出の注目度）: 0.6299766708197883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformers (ViTs) have achieved state-of-the-art performance across a range of computer vision tasks, mainly thanks to the self-attention mechanism. However, its complexity, increasing quadratically with the number of tokens, remains the major obstacle to ViT efficiency and deployment at scale. Token merging reduces this cost by aggregating redundant tokens. Yet existing methods are typically evaluated within a single architecture, leaving open whether their effectiveness stems from the merging mechanism itself or from the specific decoder they are paired with. We extend Graph-Guided Token Merging (G2TM), a single module inserted early in a ViT-based network, beyond its original Segmenter setting. We evaluate G2TM across three semantic segmentation frameworks (Segmenter, SETR, EoMT) and three decoder families (Linear, Transformer-, convolution-based), as well as standard ViT image classification. Our results show that G2TM's behavior and accuracy-efficiency trade-off are consistent across every tested architecture for a given backbone size, indicating that its effectiveness is a property of the encoder rather than the decoder. G2TM also generalizes well to image classification, achieving an even smaller degradation in accuracy compared to semantic segmentation. We further find that G2TM's optimal hyperparameters, resulting in a consistent drop in GFLOPs of 22-47% and an increase in throughput by up to 74% for segmentation models on ADE20K dataset, depend primarily on the backbone's pre-training recipe and on the target dataset, rather than on the decoder choice.
• Abstract（参考訳）: ビジョントランスフォーマー(ViT)は、主に自己認識機構のおかげで、様々なコンピュータビジョンタスクで最先端のパフォーマンスを達成した。 しかし、トークンの数とともに四次的に増加するその複雑さは、ViT効率と大規模展開の大きな障害である。 トークンマージは、冗長トークンを集約することで、このコストを削減する。 しかし、既存のメソッドは通常、単一のアーキテクチャ内で評価され、それらの効果がマージメカニズム自体からか、あるいはペアリングされている特定のデコーダからかのどちらかから生じるかは未解決のままである。 グラフガイド方式のToken Merging (G2TM) は,VTベースのネットワークの初期に挿入された単一モジュールで,オリジナルのSegmenter設定を超えて拡張する。 我々は,3つのセマンティックセグメンテーションフレームワーク(セグメンタ,SETR,EoMT)と3つのデコーダファミリー(Linear,Transformer-,convolution-based)および標準VT画像分類(ViT画像分類)を比較し,G2TMを評価する。 以上の結果から,G2TMの挙動と精度・効率のトレードオフは,任意のバックボーンサイズで試験されたアーキテクチャ毎に一貫したものであり,デコーダではなくエンコーダの特性であることが示唆された。 また、G2TMは画像分類にも適しており、セマンティックセグメンテーションに比べて精度の劣化がさらに小さい。 さらに、G2TMの最適ハイパーパラメータが22～47%減少し、ADE20Kデータセット上のセグメンテーションモデルではスループットが最大74%向上することがわかった。

関連論文リスト

• I-Segmenter: Integer-Only Vision Transformer for Efficient Semantic Segmentation [0.0]
  量子化は効率を改善するための効果的な戦略を提供するが、ViTベースのセグメンテーションモデルは低い精度で脆弱である。 I-Segmenterは完全整数のみのViTセグメンテーションフレームワークである。 I-セグメンタは、シングルキャリブレーション画像のワンショットPTQにおいても、競合精度を達成する。
  論文  参考訳（メタデータ） (2025-09-12T15:14:19Z)
• It Takes Two: Accurate Gait Recognition in the Wild via Cross-granularity Alignment [72.75844404617959]
  本稿では,XGait という新しい粒度アライメント歩行認識手法を提案する。 この目的を達成するために、XGaitはまず2つのバックボーンエンコーダの分岐を含み、シルエットシーケンスとパーシングシーケンスを2つの潜在空間にマッピングする。 2つの大規模な歩行データセットの総合的な実験では、ランク1の精度が80.5%、CCPGが88.3%である。
  論文  参考訳（メタデータ） (2024-11-16T08:54:27Z)
• Progressive Token Length Scaling in Transformer Encoders for Efficient Universal Segmentation [67.85309547416155]
  ユニバーサルセグメンテーションのための強力なアーキテクチャは、マルチスケールの画像特徴を符号化し、オブジェクトクエリをマスク予測にデコードするトランスフォーマーに依存している。 このようなモデルのスケーリングには効率性が優先されるため、最先端のMask2Formerでは、変換器エンコーダのみに計算の50%を使用しています。 これは、エンコーダ層ごとにすべてのバックボーン機能スケールのトークンレベルの完全な表現が保持されているためである。
  論文  参考訳（メタデータ） (2024-04-23T01:34:20Z)
• Minimalist and High-Performance Semantic Segmentation with Plain Vision Transformers [10.72362704573323]
  トランス層に加えて,3$Times$3の畳み込みのみで構成されるモデルであるPlainSegを導入する。 また,階層的特徴の活用を可能にするPlainSeg-Hierを提案する。
  論文  参考訳（メタデータ） (2023-10-19T14:01:40Z)
• SegViTv2: Exploring Efficient and Continual Semantic Segmentation with Plain Vision Transformers [76.13755422671822]
  本稿では,エンコーダ・デコーダ・フレームワークを用いた意味的セグメンテーションのためのプレーンビジョン変換器(ViT)の能力について検討する。 Intention-to-Mask(atm)モジュールを導入し、平易なViTに有効な軽量デコーダを設計する。 我々のデコーダは、様々なViTバックボーンを使用して人気のあるデコーダUPerNetより優れ、計算コストの5%程度しか消費しない。
  論文  参考訳（メタデータ） (2023-06-09T22:29:56Z)
• FCN-Transformer Feature Fusion for Polyp Segmentation [12.62213319797323]
  大腸内視鏡は大腸癌の早期発見のための金標準法として広く認められている。 大腸内視鏡画像におけるポリープのマニュアルセグメンテーションは時間を要する。 ポリプセグメンテーションの自動化におけるディープラーニングの利用が重要になっている。
  論文  参考訳（メタデータ） (2022-08-17T15:31:06Z)
• Global Context Vision Transformers [78.5346173956383]
  我々は,コンピュータビジョンのパラメータと計算利用を向上する新しいアーキテクチャであるGC ViT(Global context vision transformer)を提案する。 本稿では,ViTにおける帰納バイアスの欠如に対処し,アーキテクチャにおける可溶性逆残差ブロックを改良して活用することを提案する。 提案したGC ViTは,画像分類,オブジェクト検出,セマンティックセマンティックセグメンテーションタスクにまたがる最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-06-20T18:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。