論文の概要: FilterViT and DropoutViT

• arxiv url: http://arxiv.org/abs/2410.22709v3
• Date: Sun, 10 Nov 2024 11:09:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 17:14:20.140725
• Title: FilterViT and DropoutViT
• Title（参考訳）: FilterViT と DropoutViT
• Authors: Bohang Sun,
• Abstract要約: 我々は、ダウンサンプリングの初期段階で注意に基づくQKV操作を行うViTの強化版を紹介した。 本稿では,フィルタブロックを用いて注目画素を選択するための有能マスクを作成するフィルタアテンション機構を提案する。 このアプローチは、注意に関わるトークンの数を効果的に減らし、計算複雑性を減らし、処理速度を向上する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this study, we introduce an enhanced version of ViT that conducts attention-based QKV operations during the initial stages of downsampling. Performing attention directly on high-resolution feature maps is computationally demanding due to the large size and numerous tokens. To mitigate this, we propose a filter attention mechanism that uses a Filter Block to create a salient mask (Filter Mask) for selecting the most informative pixels for attention. The Filter Block scores the pixels of the feature map, and we sort these scores to retain only the top K pixels (with K varying across layers). This approach effectively decreases the number of tokens involved in the attention computation, reducing computational complexity and boosting processing speed. Furthermore, the salient mask provides interpretability, as the model focuses on regions of the image most critical to the outcome. Our experimental results show that this model improves parameter efficiency and computational speed while enhancing accuracy. Compared to existing models, our approach significantly reduces resource consumption while maintaining high performance.
• Abstract（参考訳）: 本研究では,ダウンサンプリングの初期段階で注意に基づくQKV操作を行うViTの強化版を紹介する。 高解像度特徴写像に直接注意を払うことは、大きなサイズと多数のトークンのために計算的に要求される。 そこで本研究では,フィルタブロックを用いて,最も情報性の高い画素を選択するためのサージェントマスク (Filter Mask) を作成するフィルタアテンション機構を提案する。 Filter Blockは特徴マップのピクセルをスコアし、これらのスコアを上位Kピクセルのみを保持するようにソートします。 このアプローチは、注意計算に関わるトークンの数を効果的に減らし、計算複雑性を減らし、処理速度を向上する。 さらに、サルエントマスクは、結果に最も重要な画像の領域に焦点を当てるため、解釈可能性を提供する。 実験結果から,このモデルではパラメータ効率と計算速度が向上し,精度が向上することが示された。 既存のモデルと比較して,高い性能を維持しながら資源消費を大幅に削減する。

関連論文リスト

• ZipVL: Efficient Large Vision-Language Models with Dynamic Token Sparsification and KV Cache Compression [29.163757099307553]
  大型視覚言語モデル(LVLM)のための効率的な推論フレームワークZipVLを提案する。 ZipVLは重要なトークンの動的比割り当て戦略によって計算とメモリのボトルネックを解消する。 実験によると、ZipVLはプリフィルフェーズを2.6$times$で加速し、GPUメモリ使用量を50.0%削減できる。
  論文  参考訳（メタデータ） (2024-10-11T07:24:21Z)
• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• Variance-insensitive and Target-preserving Mask Refinement for Interactive Image Segmentation [68.16510297109872]
  ポイントベースのインタラクティブなイメージセグメンテーションは、セマンティックセグメンテーションや画像編集といったアプリケーションにおけるマスクアノテーションの負担を軽減することができる。 本稿では,ユーザ入力の少ないセグメンテーション品質を向上する新しい手法である可変無感・ターゲット保存マスクリファインメントを提案する。 GrabCut、バークレー、SBD、DAVISデータセットの実験は、インタラクティブな画像セグメンテーションにおける我々の手法の最先端性能を実証している。
  論文  参考訳（メタデータ） (2023-12-22T02:31:31Z)
• AiluRus: A Scalable ViT Framework for Dense Prediction [95.1313839257891]
  視覚変換器 (ViT) は、その優れた性能のため、視覚タスクの一般的なアーキテクチャとして登場した。 本稿では,画像の異なる領域に対して,その重要度に応じて適応分解能を適用することを提案する。 提案手法を3つの異なるデータセット上で評価し,有望な性能を観察する。
  論文  参考訳（メタデータ） (2023-11-02T12:48:43Z)
• Pixel Adapter: A Graph-Based Post-Processing Approach for Scene Text Image Super-Resolution [22.60056946339325]
  アップサンプリングによる画素歪みに対処するために,グラフアテンションに基づくPixel Adapter Module (PAM)を提案する。 PAMは、各ピクセルが隣人と対話し、機能を更新することで、ローカルな構造情報を効果的にキャプチャする。 提案手法は,従来の認識精度を上回り,高品質な超解像を生成することを実証する。
  論文  参考訳（メタデータ） (2023-09-16T08:12:12Z)
• Efficient Context Integration through Factorized Pyramidal Learning for Ultra-Lightweight Semantic Segmentation [1.0499611180329804]
  本稿では,FPL(Facterized Pyramidal Learning)モジュールを提案する。 空間ピラミッドを2つのステージに分解し,モジュール内での簡易かつ効率的な特徴融合により,悪名高いチェッカーボード効果を解決する。 FPLモジュールとFIRユニットをベースとしたFPLNetと呼ばれる超軽量リアルタイムネットワークを提案する。
  論文  参考訳（メタデータ） (2023-02-23T05:34:51Z)
• Skip-Attention: Improving Vision Transformers by Paying Less Attention [55.47058516775423]
  視覚計算変換器(ViT)は、すべての層で高価な自己注意操作を使用する。 また,SkipAtを提案する。SkipAtは,先行層から自己注意を再利用して1層以上の注意を近似する手法である。 本稿では,画像の分類と自己教師型学習,ADE20Kのセマンティックセグメンテーション,SIDDの画像デノイング,DAVISのビデオデノナイズにおける手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-01-05T18:59:52Z)
• SALISA: Saliency-based Input Sampling for Efficient Video Object Detection [58.22508131162269]
  ビデオオブジェクト検出のための新しい一様SALiencyベースの入力SAmpling技術であるSALISAを提案する。 SALISAは小物体の検出を著しく改善することを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:59:51Z)
• Low Pass Filter for Anti-aliasing in Temporal Action Localization [15.139834271977913]
  本稿では,時間的行動定位法におけるエイリアスの存在を検証する。 高周波帯域の抑制により低域通過フィルタを用いてこの問題を解決する。 実験により、TALにおける低域通過フィルタによるアンチエイリアシングは有利かつ効率的であることが示された。
  論文  参考訳（メタデータ） (2021-04-23T03:57:34Z)
• Scalable Visual Transformers with Hierarchical Pooling [61.05787583247392]
  本稿では,視覚的トークンを徐々にプールしてシーケンス長を縮小する階層的ビジュアルトランスフォーマ(hvt)を提案する。 計算の複雑さを増すことなく、深さ/幅/解像度/パッチサイズの寸法をスケールすることで、大きなメリットをもたらします。 当社のHVTはImageNetとCIFAR-100データセットの競合ベースラインを上回っています。
  論文  参考訳（メタデータ） (2021-03-19T03:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。