論文の概要: The Effects of Grouped Structural Global Pruning of Vision Transformers on Domain Generalisation

• arxiv url: http://arxiv.org/abs/2504.04196v1
• Date: Sat, 05 Apr 2025 15:05:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:13:47.790691
• Title: The Effects of Grouped Structural Global Pruning of Vision Transformers on Domain Generalisation
• Title（参考訳）: 視覚変換器の群構造的グローバルプルーニングが領域一般化に及ぼす影響
• Authors: Hamza Riaz, Alan F. Smeaton,
• Abstract要約: 本稿では,事前学習型視覚変換器(ViT,BeiT,DeiT)の群構造解析手法を提案する。 本手法では,ニューロン,重み,フィルタ,アテンションヘッドの冗長なグループを解析・除去するために依存性グラフ解析を用いる。 その結果,精度とDGタスク性能のトレードオフを最小限に抑えつつ,推論速度と微調整時間を著しく改善した。
• 参考スコア（独自算出の注目度）: 2.2124795371148616
• License:
• Abstract: With the growing sizes of AI models like large language models (LLMs) and vision transformers, deploying them on devices with limited computational resources is a significant challenge particularly when addressing domain generalisation (DG) tasks. This paper introduces a novel grouped structural pruning method for pre-trained vision transformers (ViT, BeiT, and DeiT), evaluated on the PACS and Office-Home DG benchmarks. Our method uses dependency graph analysis to identify and remove redundant groups of neurons, weights, filters, or attention heads within transformers, using a range of selection metrics. Grouped structural pruning is applied at pruning ratios of 50\%, 75\% and 95\% and the models are then fine-tuned on selected distributions from DG benchmarks to evaluate their overall performance in DG tasks. Results show significant improvements in inference speed and fine-tuning time with minimal trade-offs in accuracy and DG task performance. For instance, on the PACS benchmark, pruning ViT, BeiT, and DeiT models by 50\% using the Hessian metric resulted in accuracy drops of only -2.94\%, -1.42\%, and -1.72\%, respectively, while achieving speed boosts of 2.5x, 1.81x, and 2.15x. These findings demonstrate the effectiveness of our approach in balancing model efficiency with domain generalisation performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)やビジョントランスフォーマーといったAIモデルのサイズが大きくなるにつれて、限られた計算リソースを持つデバイスにそれらをデプロイすることは、特にドメイン一般化(DG)タスクに対処する上で大きな課題となる。 本稿では, PACS と Office-Home DG ベンチマークを用いて, 事前学習型視覚変換器 (ViT, BeiT, DeiT) の群構造解析手法を提案する。 提案手法は,ニューロン,重み,フィルタ,アテンションヘッドの冗長なグループを,様々な選択指標を用いて同定・除去するために,依存性グラフ解析を用いる。 群構造プルーニングは50 %,75 %,95 %のプルーニング比で適用され、DG のベンチマークから選択した分布に基づいてモデルを微調整し、DG タスクの全体的な性能を評価する。 その結果,精度とDGタスク性能のトレードオフを最小限に抑えつつ,推論速度と微調整時間を著しく改善した。 例えば、PACSのベンチマークでは、Hessianの測定値を用いてViT、BeiT、DeiTのモデルを50\%プルーニングすると、それぞれ2.94\%、-1.42\%、-1.72\%の精度が低下し、2.5x、1.81x、2.15xの速度向上を達成した。 これらの結果から,モデル効率と領域一般化性能のバランスをとる手法の有効性が示された。

関連論文リスト

• Generative adversarial learning with optimal input dimension and its adaptive generator architecture [3.9043107077488797]
  一般化GAN(Generalized GAN)と呼ばれる新しいフレームワークを導入する。 グループペナルティとアーキテクチャペナルティを取り入れることで、G-GANにはいくつかの興味深い特徴がある。 シミュレーションおよびベンチマークデータを用いて行った大規模な実験は、G-GANの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-05-06T03:30:02Z)
• Controllable Prompt Tuning For Balancing Group Distributional Robustness [53.336515056479705]
  グループ間で優れたパフォーマンスを実現するための最適化スキームを導入し、それらの性能を著しく犠牲にすることなく、全員に良い解決策を見出す。 本稿では,制御可能なプロンプトチューニング(CPT)を提案する。 突発的相関ベンチマークでは, 変換器と非変換器の両アーキテクチャ, および非モーダルおよびマルチモーダルデータにまたがって, 最先端の結果が得られた。
  論文  参考訳（メタデータ） (2024-03-05T06:23:55Z)
• Generative Parameter-Efficient Fine-Tuning [8.481707805559589]
  GIFTは、トレーニング済みの重みから直接、レイヤーの微調整された重みを生成することを学習する。 この定式化ブリッジはパラメータ効率の良い微調整および表現微調整を示す。
  論文  参考訳（メタデータ） (2023-12-01T16:33:57Z)
• Robust Representation Learning with Self-Distillation for Domain Generalization [2.0817769887373245]
  本稿では,ロバスト表現学習(Robust Representation Learning with Self-Distillation)と呼ばれる新しい領域一般化手法を提案する。 3つのデータセットの最先端データに対して、平均精度を1.2%から2.3%に改善する。
  論文  参考訳（メタデータ） (2023-02-14T07:39:37Z)
• GOHSP: A Unified Framework of Graph and Optimization-based Heterogeneous Structured Pruning for Vision Transformer [76.2625311630021]
  視覚変換器(ViT)は、様々なコンピュータビジョンタスクにおいて非常に印象的な経験的性能を示している。 この問題を緩和するために、構造化プルーニングはモデルサイズを圧縮し、実用的な効率を実現するための有望な解決策である。 グラフと最適化に基づく構造的プルーニング(Structured Pruning)を統合化したフレームワークであるGOHSPを提案する。
  論文  参考訳（メタデータ） (2023-01-13T00:40:24Z)
• Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and Stability [67.8426046908398]
  汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。 本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
  論文  参考訳（メタデータ） (2022-04-08T20:46:16Z)
• ERNIE-SPARSE: Learning Hierarchical Efficient Transformer Through Regularized Self-Attention [48.697458429460184]
  情報ボトルネック感度と異なる注目トポロジ間の不整合の2つの要因がスパース変換器の性能に影響を及ぼす可能性がある。 本稿では,ERNIE-Sparseというモデルを提案する。 i) 局所情報とグローバル情報を逐次統一する階層スパース変換器(HST) と、(ii) 注意トポロジの異なる変換器の距離を最小化する自己注意正規化(SAR) の2つの特徴がある。
  論文  参考訳（メタデータ） (2022-03-23T08:47:01Z)
• Global Vision Transformer Pruning with Hessian-Aware Saliency [93.33895899995224]
  この研究はヴィジュアルトランスフォーマー(ViT)モデルの共通設計哲学に挑戦する。 遅延を意識した規則化による直接遅延低減を実現し,すべての層や構造に匹敵する新しいヘッセン型構造解析基準を導出する。 DeiT-Baseモデルで反復的なプルーニングを実行すると、NViT(Novel ViT)と呼ばれる新しいアーキテクチャファミリが生まれ、パラメータをより効率的に利用する新しいパラメータが現れる。
  論文  参考訳（メタデータ） (2021-10-10T18:04:59Z)
• Pruning Redundant Mappings in Transformer Models via Spectral-Normalized Identity Prior [54.629850694790036]
  スペクトル正規化アイデンティティ事前 (SNIP) は、トランスフォーマーモデルにおける残余モジュール全体をアイデンティティマッピングに向けてペナライズする構造化プルーニング手法である。 5つのGLUEベンチマークタスクでBERTを用いて実験を行い、SNIPが同等の性能を維持しながら効率的な刈り取り結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-10-05T05:40:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。