論文の概要: Pyramid Sparse Transformer: Enhancing Multi-Scale Feature Fusion with Dynamic Token Selection

• arxiv url: http://arxiv.org/abs/2505.12772v2
• Date: Tue, 20 May 2025 09:01:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 12:33:37.446995
• Title: Pyramid Sparse Transformer: Enhancing Multi-Scale Feature Fusion with Dynamic Token Selection
• Title（参考訳）: ピラミッドスパース変圧器:動的トークン選択によるマルチスケール特徴フュージョンの強化
• Authors: Junyi Hu, Tian Bai, Fengyi Wu, Zhenming Peng, Yi Zhang,
• Abstract要約: Pyramid Sparse Transformer (PST)は、粗いトークン選択と共有アテンションパラメータを統合する軽量なプラグアンドプレイモジュールである。 PSTは、粗い注意のみを使用して訓練でき、推論時にシームレスに活性化され、再訓練することなくさらなる精度向上が期待できる。
• 参考スコア（独自算出の注目度）: 6.4838420747371766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feature fusion is critical for high-performance vision models but often incurs prohibitive complexity. However, prevailing attention-based fusion methods often involve significant computational complexity and implementation challenges, limiting their efficiency in resource-constrained environments. To address these issues, we introduce the Pyramid Sparse Transformer (PST), a lightweight, plug-and-play module that integrates coarse-to-fine token selection and shared attention parameters to reduce computation while preserving spatial detail. PST can be trained using only coarse attention and seamlessly activated at inference for further accuracy gains without retraining. When added to state-of-the-art real-time detection models, such as YOLOv11-N/S/M, PST yields mAP improvements of 0.9%, 0.5%, and 0.4% on MS COCO with minimal latency impact. Likewise, embedding PST into ResNet-18/50/101 as backbones, boosts ImageNet top-1 accuracy by 6.5%, 1.7%, and 1.0%, respectively. These results demonstrate PST's effectiveness as a simple, hardware-friendly enhancement for both detection and classification tasks.
• Abstract（参考訳）: 機能融合は高性能な視覚モデルには不可欠であるが、しばしば禁止的な複雑さを引き起こす。 しかし、一般的な注意に基づく融合法は、しばしば計算の複雑さと実装上の困難を伴い、資源制約のある環境での効率を抑える。 これらの問題に対処するために、粗いトークン選択と共有アテンションパラメータを統合する軽量なプラグアンドプレイモジュールであるPraamid Sparse Transformer (PST)を導入する。 PSTは、粗い注意のみを使用して訓練でき、推論時にシームレスに活性化され、再訓練することなくさらなる精度向上が期待できる。 YOLOv11-N/S/Mのような最先端のリアルタイム検出モデルに追加されると、PSTは最小遅延の影響でMS COCOの0.9%、0.5%、0.4%のmAP改善をもたらす。 同様に、PSTをResNet-18/50/101にバックボーンとして組み込むと、ImageNet Top-1の精度が6.5%、 1.7%、1.0%向上する。 これらの結果から、PSTは、検出タスクと分類タスクの両方において、シンプルでハードウェアフレンドリな拡張としての有効性を示す。

関連論文リスト

• Efficient Token Compression for Vision Transformer with Spatial Information Preserved [59.79302182800274]
  トーケン圧縮は、トランスモデルの計算およびメモリ要求の低減に不可欠である。 本稿では,Prune と Merge という,効率的なハードウェア互換のトークン圧縮手法を提案する。
  論文  参考訳（メタデータ） (2025-03-30T14:23:18Z)
• Densely Connected Parameter-Efficient Tuning for Referring Image Segmentation [30.912818564963512]
  DETRISは、低ランクな視覚的特徴伝達を強化するために設計されたパラメータ効率のチューニングフレームワークである。 我々の単純で効率的なアプローチは、最先端のメソッドを大きく上回り、0.9%から1.8%のバックボーンパラメーターが更新される。
  論文  参考訳（メタデータ） (2025-01-15T05:00:03Z)
• Visual Fourier Prompt Tuning [63.66866445034855]
  本稿では,大規模なトランスフォーマーモデルに適用するための汎用的で効果的な方法として,Visual Fourier Prompt Tuning (VFPT)法を提案する。 提案手法では,高速フーリエ変換を即時埋め込みに取り入れ,空間領域情報と周波数領域情報の両方を調和的に検討する。 提案手法は,2つのベンチマークにおいて,現状のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-02T18:18:35Z)
• Parameter-Efficient Fine-Tuning in Spectral Domain for Point Cloud Learning [49.91297276176978]
  私たちは小説を提案します。 ポイントGST (Point GST) と呼ばれる点雲の効率的な微細調整法。 ポイントGSTは事前トレーニングされたモデルを凍結し、スペクトル領域のパラメータを微調整するためのトレーニング可能なポイントクラウドスペクトルアダプタ(PCSA)を導入する。 挑戦的なポイントクラウドデータセットに関する大規模な実験は、ポイントGSTが完全に微調整されたデータセットを上回るだけでなく、トレーニング可能なパラメータを大幅に削減することを示した。
  論文  参考訳（メタデータ） (2024-10-10T17:00:04Z)
• LATTE: Low-Precision Approximate Attention with Head-wise Trainable Threshold for Efficient Transformer [0.0]
  我々は,高効率変圧器(LATTE)のための頭部訓練用閾値を用いた高精度近似注意法を提案する。 LATTEは、MHA(Multi-Head Attention)の計算量を削減するために、低精度ドット積を持つ頭部しきい値に基づくフィルタを用いる。 実験の結果, LATTE は NLP と CV の両方のタスクにスムーズに適応でき, 計算コストを大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2024-04-11T07:23:19Z)
• Hierarchical Side-Tuning for Vision Transformers [33.536948382414316]
  微調整された事前訓練された視覚変換器(ViTs)は、視覚認識タスクの強化に大きく貢献している。 PETLは、完全な微調整に比べてパラメータ更新が少なく、高いパフォーマンスを実現する可能性がある。 本稿では,多様な下流タスクへのVTモデルの転送を容易にする革新的PETL手法である階層側チューニング(HST)を紹介する。
  論文  参考訳（メタデータ） (2023-10-09T04:16:35Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• Towards Simple and Accurate Human Pose Estimation with Stair Network [34.421529219040295]
  精度の高い多段階ポーズ推定システムに積み重ねることができるStair Networkと呼ばれる小さな判別モデルを開発した。 計算コストを削減するため、Stair Networkは、新しい基本的な特徴抽出ブロックで構成されている。 2つの標準データセットに対するStair Networkの有効性を示す。
  論文  参考訳（メタデータ） (2022-02-18T10:37:13Z)
• Highly Efficient Salient Object Detection with 100K Parameters [137.74898755102387]
  そこで我々は,段階内および複数ステージのマルチスケール機能を効率的に活用するために,フレキシブルな畳み込みモジュールであるOctoConv(gOctConv)を提案する。 我々は、非常に軽量なモデル、すなわちCSNetを構築し、一般的なオブジェクト検出ベンチマークで、約0.2%(100k)の大規模モデルで同等のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-03-12T07:00:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。