Fugu-MT 論文翻訳(概要): Once for Both: Single Stage of Importance and Sparsity Search for Vision Transformer Compression

論文の概要: Once for Both: Single Stage of Importance and Sparsity Search for Vision Transformer Compression

arxiv url: http://arxiv.org/abs/2403.15835v1
Date: Sat, 23 Mar 2024 13:22:36 GMT
ステータス: 処理完了
システム内更新日: 2024-03-26 20:52:58.795400
Title: Once for Both: Single Stage of Importance and Sparsity Search for Vision Transformer Compression
Title（参考訳）: once for both: Single Stage of Importance and Sparsity Search for Vision Transformer Compression (英語)
Authors: Hancheng Ye, Chong Yu, Peng Ye, Renqiu Xia, Yansong Tang, Jiwen Lu, Tao Chen, Bo Zhang,
Abstract要約: 重要度評価と疎度評価を1段階にまとめる方法について検討する。重要度と疎度の両方を同時に評価するコスト効率の高いOFBを提案する。実験により、OFBは最先端のサーチベースおよびプルーニングベース手法よりも優れた圧縮性能が得られることが示された。
参考スコア（独自算出の注目度）: 63.23578860867408
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent Vision Transformer Compression (VTC) works mainly follow a two-stage scheme, where the importance score of each model unit is first evaluated or preset in each submodule, followed by the sparsity score evaluation according to the target sparsity constraint. Such a separate evaluation process induces the gap between importance and sparsity score distributions, thus causing high search costs for VTC. In this work, for the first time, we investigate how to integrate the evaluations of importance and sparsity scores into a single stage, searching the optimal subnets in an efficient manner. Specifically, we present OFB, a cost-efficient approach that simultaneously evaluates both importance and sparsity scores, termed Once for Both (OFB), for VTC. First, a bi-mask scheme is developed by entangling the importance score and the differentiable sparsity score to jointly determine the pruning potential (prunability) of each unit. Such a bi-mask search strategy is further used together with a proposed adaptive one-hot loss to realize the progressive-and-efficient search for the most important subnet. Finally, Progressive Masked Image Modeling (PMIM) is proposed to regularize the feature space to be more representative during the search process, which may be degraded by the dimension reduction. Extensive experiments demonstrate that OFB can achieve superior compression performance over state-of-the-art searching-based and pruning-based methods under various Vision Transformer architectures, meanwhile promoting search efficiency significantly, e.g., costing one GPU search day for the compression of DeiT-S on ImageNet-1K.
Abstract（参考訳）: 近年のVision Transformer Compression (VTC) は主に2段階のスキームに従っており、各モデルユニットの重要度を各サブモジュールでまず評価またはプリセットし、続いてターゲットのスパーシリティ制約に従ってスパーシティスコアの評価を行う。このような個別な評価プロセスは、重要度と疎度スコアの分布のギャップを生じさせ、それによってVTCの検索コストが高くなる。本研究では,まず,重要度と疎度スコアの評価を単一ステージに統合し,最適なサブネットを効率的に探索する方法を検討する。具体的には、VTCにおけるOFB(One for Both)と呼ばれる、重要度と疎度の両方を同時に評価するコスト効率の高いOFBを提案する。まず、重要度スコアと微分可能な疎度スコアを絞ってバイマスクスキームを開発し、各ユニットのプルーニング電位(プルーナビリティ)を共同で決定する。このようなバイマスク探索戦略と適応的な1ホットロスを併用して、最も重要なサブネットのプログレッシブ・アンド・エフェクト探索を実現する。最後に,PMIM (Progressive Masked Image Modeling) を提案する。大規模な実験により、OFBは様々なVision Transformerアーキテクチャの下での最先端の検索ベースおよびプルーニングベースの手法よりも優れた圧縮性能を実現し、一方、ImageNet-1K上でのDeiT-Sの圧縮に1つのGPUサーチ日を要した。

関連論文リスト

Generalized Correspondence Matching via Flexible Hierarchical Refinement and Patch Descriptor Distillation [13.802788788420175]
対応マッチングは多くのロボティクス応用において重要な役割を担っている。本稿では,SoTA (State-of-the-art) のプラグ・アンド・プレイ対応手法であるDFM (Deep Feature Match) の限界に対処する。提案手法は,それぞれ1,3,5画素に対する平均マッチング精度0.68,0.92,0.95の総合的な性能を実現する。
論文参考訳（メタデータ） (2024-03-08T15:32:18Z)
A Manifold Representation of the Key in Vision Transformers [8.938418994111716]
本稿では、キーをクエリと値から切り離し、キーの多様体表現を採用するという概念について検討する。実験の結果,鍵を多様体構造で切り離して付与することで,モデルの性能が向上することがわかった。
論文参考訳（メタデータ） (2024-02-01T12:01:43Z)
Refine, Discriminate and Align: Stealing Encoders via Sample-Wise Prototypes and Multi-Relational Extraction [57.16121098944589]
RDAは、事前訓練されたエンコーダを盗むために、以前の取り組みで普及した2つの主要な欠陥に対処するために設計された先駆的なアプローチである。これは、サンプルの様々な視点に対してターゲットエンコーダの表現を統一するサンプルワイドプロトタイプによって達成される。より強力な有効性を得るために、我々はサロゲートエンコーダを訓練し、ミスマッチした埋め込み-プロトタイプペアを識別するマルチリレーショナル抽出損失を開発する。
論文参考訳（メタデータ） (2023-12-01T15:03:29Z)
MGAS: Multi-Granularity Architecture Search for Trade-Off Between Model Effectiveness and Efficiency [10.641875933652647]
我々は,多粒度アーキテクチャサーチ(MGAS)を導入し,効率的かつ効率的なニューラルネットワークを探索する。各粒度レベル固有の離散化関数を学習し、進化したアーキテクチャに従って単位残率を適応的に決定する。 CIFAR-10、CIFAR-100、ImageNetの大規模な実験により、MGASはモデル性能とモデルサイズとのトレードオフを改善するために、他の最先端の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2023-10-23T16:32:18Z)
Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文参考訳（メタデータ） (2023-04-04T17:54:32Z)
Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
論文参考訳（メタデータ） (2021-03-22T20:36:34Z)
Anchor-free Small-scale Multispectral Pedestrian Detection [88.7497134369344]
適応型単一段アンカーフリーベースアーキテクチャにおける2つのモードの効果的かつ効率的な多重スペクトル融合法を提案する。我々は,直接的境界ボックス予測ではなく,対象の中心と規模に基づく歩行者表現の学習を目指す。その結果,小型歩行者の検出における本手法の有効性が示唆された。
論文参考訳（メタデータ） (2020-08-19T13:13:01Z)
Parameter Sharing Exploration and Hetero-Center based Triplet Loss for Visible-Thermal Person Re-Identification [17.402673438396345]
本稿では,VT Re-ID(VT Re-ID)タスクについて述べる。提案手法は,最先端の手法を大きなマージンで明らかに上回っている。
論文参考訳（メタデータ） (2020-08-14T07:40:35Z)
Towards High Performance Human Keypoint Detection [87.1034745775229]
文脈情報は人体構成や見えないキーポイントを推論する上で重要な役割を担っている。そこで我々は,空間とチャネルのコンテキスト情報を効率的に統合するカスケードコンテキストミキサー(CCM)を提案する。 CCMの表現能力を最大化するために、我々は、強陰性な人検出マイニング戦略と共同訓練戦略を開発する。検出精度を向上させるために,キーポイント予測を後処理するためのいくつかのサブピクセル改良手法を提案する。
論文参考訳（メタデータ） (2020-02-03T02:24:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。