論文の概要: LOTUS: Improving Transformer Efficiency with Sparsity Pruning and Data Lottery Tickets
- arxiv url: http://arxiv.org/abs/2405.00906v1
- Date: Wed, 1 May 2024 23:30:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-03 18:23:47.322310
- Title: LOTUS: Improving Transformer Efficiency with Sparsity Pruning and Data Lottery Tickets
- Title（参考訳）: LOTUS: スパーシィプルーニングとデータロテリティケットによるトランスフォーマー効率の向上
- Authors: Ojasw Upadhyay,
- Abstract要約: ビジョントランスフォーマーはコンピュータビジョンに革命をもたらしたが、その計算要求はトレーニングとデプロイメントの課題を提示している。
本稿では,データの宝くじ選択と空間プルーニングを利用して,精度を維持しながら視覚変換器のトレーニングを高速化する新しい手法であるLOTUSを紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Vision transformers have revolutionized computer vision, but their computational demands present challenges for training and deployment. This paper introduces LOTUS (LOttery Transformers with Ultra Sparsity), a novel method that leverages data lottery ticket selection and sparsity pruning to accelerate vision transformer training while maintaining accuracy. Our approach focuses on identifying and utilizing the most informative data subsets and eliminating redundant model parameters to optimize the training process. Through extensive experiments, we demonstrate the effectiveness of LOTUS in achieving rapid convergence and high accuracy with significantly reduced computational requirements. This work highlights the potential of combining data selection and sparsity techniques for efficient vision transformer training, opening doors for further research and development in this area.
- Abstract（参考訳）: ビジョントランスフォーマーはコンピュータビジョンに革命をもたらしたが、その計算要求はトレーニングとデプロイメントの課題を提示している。
本稿では,データ宝くじの選択とスパシティプルーニングを利用して,精度を維持しながら視覚変換器のトレーニングを高速化する,LOTUS(Lottery Transformers with Ultra Sparsity)を提案する。
我々のアプローチは、最も情報性の高いデータサブセットを特定し、活用することに焦点を当て、トレーニングプロセスを最適化するために冗長なモデルパラメータを排除します。
大規模な実験を通じて,計算要求を著しく低減した高速収束と高精度化を実現する上でのLOTUSの有効性を実証した。
この研究は、効率的な視覚変換器訓練のためのデータ選択と疎結合技術の組み合わせの可能性を強調し、この分野におけるさらなる研究と開発のための扉を開く。
関連論文リスト
- Optimizing Vision Transformers with Data-Free Knowledge Transfer [8.323741354066474]
視覚変換器(ViT)は、長距離依存を捕捉する能力に優れており、様々なコンピュータビジョンタスクに優れていた。
本稿では,KD(Knowledge Distillation)を用いた大規模ViTモデルの圧縮を提案する。
論文 参考訳（メタデータ） (2024-08-12T07:03:35Z) - Early Transformers: A study on Efficient Training of Transformer Models through Early-Bird Lottery Tickets [0.0]
本稿では,トランスフォーマーモデルのトレーニング効率を最適化するための早期バードチケット仮説の適用性について検討する。
初期バードチケットを識別するために,反復的プルーニング,マスク付き距離計算,選択的再訓練を組み合わせた手法を提案する。
論文 参考訳（メタデータ） (2024-05-02T23:03:45Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳（メタデータ） (2023-05-26T00:43:02Z) - A Survey on Efficient Training of Transformers [72.31868024970674]
この調査は、トランスフォーマーの効率的なトレーニングに関する最初の体系的な概要を提供する。
トレーニング中の中間テンソルの計算コストとメモリコストを削減できる手法と,ハードウェア/アルゴリズムの共同設計手法を分析し比較する。
論文 参考訳（メタデータ） (2023-02-02T13:58:18Z) - AdaViT: Adaptive Vision Transformers for Efficient Image Recognition [78.07924262215181]
AdaViTは、パッチ、セルフアテンションヘッド、およびトランスフォーマーブロックを使用するための利用ポリシーを導出する適応フレームワークである。
本手法は,0.8%の精度で,最先端のビジョントランスに比べて2倍以上の効率向上を実現している。
論文 参考訳（メタデータ） (2021-11-30T18:57:02Z) - Efficient Vision Transformers via Fine-Grained Manifold Distillation [96.50513363752836]
視覚変換器のアーキテクチャは多くのコンピュータビジョンタスクで異常な性能を示した。
ネットワーク性能は向上するが、トランスフォーマーはより多くの計算資源を必要とすることが多い。
本稿では,教師のトランスフォーマーから,画像と分割パッチの関係を通して有用な情報を抽出することを提案する。
論文 参考訳（メタデータ） (2021-07-03T08:28:34Z) - Augmented Shortcuts for Vision Transformers [49.70151144700589]
視覚変換器モデルにおけるショートカットと特徴の多様性の関係について検討する。
本稿では,元のショートカットに並列に学習可能なパラメータを追加経路を挿入する拡張ショートカット方式を提案する。
ベンチマークデータセットを用いて実験を行い,提案手法の有効性を実証した。
論文 参考訳（メタデータ） (2021-06-30T09:48:30Z) - Efficient pre-training objectives for Transformers [84.64393460397471]
本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。
マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
論文 参考訳（メタデータ） (2021-04-20T00:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。