論文の概要: FLORA: Fine-grained Low-Rank Architecture Search for Vision Transformer

• arxiv url: http://arxiv.org/abs/2311.03912v1
• Date: Tue, 7 Nov 2023 11:51:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 15:47:42.848738
• Title: FLORA: Fine-grained Low-Rank Architecture Search for Vision Transformer
• Title（参考訳）: FLORA:視覚変換器のための細粒度低ランクアーキテクチャ探索
• Authors: Chi-Chih Chang, Yuan-Yao Sung, Shixing Yu, Ning-Chi Huang, Diana Marculescu, Kai-Chiang Wu
• Abstract要約: 我々はNASに基づくエンドツーエンドの自動フレームワークであるFLORAを紹介する。 FLORAは,探索空間の広いスーパーネットの設計課題を克服するため,低ランクな候補フィルタリング方式を採用している。 スーパーネットの構築と低ランクモジュール間の勾配共有を実現するために,重み継承を提案する。
• 参考スコア（独自算出の注目度）: 8.09068629269446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformers (ViT) have recently demonstrated success across a myriad of computer vision tasks. However, their elevated computational demands pose significant challenges for real-world deployment. While low-rank approximation stands out as a renowned method to reduce computational loads, efficiently automating the target rank selection in ViT remains a challenge. Drawing from the notable similarity and alignment between the processes of rank selection and One-Shot NAS, we introduce FLORA, an end-to-end automatic framework based on NAS. To overcome the design challenge of supernet posed by vast search space, FLORA employs a low-rank aware candidate filtering strategy. This method adeptly identifies and eliminates underperforming candidates, effectively alleviating potential undertraining and interference among subnetworks. To further enhance the quality of low-rank supernets, we design a low-rank specific training paradigm. First, we propose weight inheritance to construct supernet and enable gradient sharing among low-rank modules. Secondly, we adopt low-rank aware sampling to strategically allocate training resources, taking into account inherited information from pre-trained models. Empirical results underscore FLORA's efficacy. With our method, a more fine-grained rank configuration can be generated automatically and yield up to 33% extra FLOPs reduction compared to a simple uniform configuration. More specific, FLORA-DeiT-B/FLORA-Swin-B can save up to 55%/42% FLOPs almost without performance degradtion. Importantly, FLORA boasts both versatility and orthogonality, offering an extra 21%-26% FLOPs reduction when integrated with leading compression techniques or compact hybrid structures. Our code is publicly available at https://github.com/shadowpa0327/FLORA.
• Abstract（参考訳）: Vision Transformers (ViT)は、最近コンピュータビジョンタスクで成功したことを実証した。 しかし、計算能力の増大は実世界の展開に重大な課題をもたらす。 低ランク近似は計算負荷を削減する有名な手法であるが、ViTにおける目標ランク選択を効率的に自動化することは依然として課題である。 ランク選択のプロセスとワンショットNASとの顕著な類似性と整合性から、NASに基づくエンドツーエンド自動フレームワークであるFLORAを導入する。 FLORAは,探索空間の広いスーパーネットの設計課題を克服するため,低ランクな候補フィルタリング方式を採用している。 本手法は、サブネットワーク間の潜在的な過訓練と干渉を効果的に軽減し、過パフォーマンスな候補を適切に識別し排除する。 低ランクスーパーネットの品質をさらに高めるため、低ランク特有のトレーニングパラダイムをデザインする。 まず,スーパーネットを構成するために重みの継承を提案し,低ランクモジュール間の勾配共有を実現する。 第2に,事前学習モデルからの継承情報を考慮して,戦略的にトレーニングリソースを割り当てるために,低ランクアウェアサンプリングを採用する。 FLORAの有効性を実証した。 提案手法では,より微細な階調構成を自動生成し,単純な均一構成に比べて最大で33%のFLOPを削減できる。 より具体的には、FLORA-DeiT-B/FLORA-Swin-Bは性能劣化なしに最大55%/42%のFLOPを節約できる。 重要なことは、FLORAは汎用性と直交性の両方を誇っており、主要な圧縮技術やコンパクトハイブリッド構造と統合した場合、さらに21%-26%のFLOPを削減できる。 私たちのコードはhttps://github.com/shadowpa0327/FLORAで公開されています。

関連論文リスト

• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification [53.727688136434345]
  グラフニューラルネットワーク(GNN)はノード分類において優れた性能を示している。 高速グラフシャープネス認識最小化(FGSAM)を提案する。 提案アルゴリズムは,FSNCタスクにおいて,計算コストの低い標準SAMよりも優れる。
  論文  参考訳（メタデータ） (2024-10-22T09:33:29Z)
• A Web-Based Solution for Federated Learning with LLM-Based Automation [34.756818299081736]
  フェデレートラーニング(FL)は、分散デバイス間で協調的な機械学習に有望なアプローチを提供する。 我々は,フェデレート平均化(FedAvg)アルゴリズムをサポートするユーザフレンドリーなWebアプリケーションを開発した。 FLにおける意図に基づく自動化を、カスタマイズされたデータセットで訓練された微調整言語モデル(LLM)を用いて検討する。
  論文  参考訳（メタデータ） (2024-08-23T11:57:02Z)
• Flora: Low-Rank Adapters Are Secretly Gradient Compressors [30.224822087562163]
  低ランク適応(LoRA)は、少ないパラメータをトレーニングすることで最適化状態を低減するために提案される。 LoRAは全体の重量更新行列を低ランクに制限し、モデル性能を制限している。 本稿では,プロジェクション行列を再サンプリングすることで高階更新を実現する Flora を提案する。
  論文  参考訳（メタデータ） (2024-02-05T18:50:39Z)
• Federated Learning over Hierarchical Wireless Networks: Training Latency Minimization via Submodel Partitioning [15.311309249848739]
  階層型独立サブモデルトレーニング(Hierarchical independent submodel training、HIST)は、階層型クラウド-エッジ-クライアントネットワークにおけるこれらの問題に対処することを目的とした新しいFL方法論である。 本研究では,HISTを空気上計算(AirComp)で拡張することにより,エッジセル上でのモデルアグリゲーションの効率をより高めることができることを示す。
  論文  参考訳（メタデータ） (2023-10-27T04:42:59Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• FedLesScan: Mitigating Stragglers in Serverless Federated Learning [0.7388859384645262]
  Federated Learning(FL)は、分散クライアント間で共有グローバルモデルのトレーニングを可能にする機械学習パラダイムである。 我々は、サーバーレスFLに適したクラスタリングベースの新しい半非同期トレーニング戦略であるFedLesScanを提案する。 FedLesScanはトレーニング時間とコストをそれぞれ平均8%と20%削減し、クライアントの有効更新率は平均17.75%向上した。
  論文  参考訳（メタデータ） (2022-11-10T18:17:41Z)
• Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
  本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。 降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
  論文  参考訳（メタデータ） (2022-07-21T12:50:54Z)
• Residual Local Feature Network for Efficient Super-Resolution [20.62809970985125]
  本研究では,Residual Local Feature Network (RLFN)を提案する。 主なアイデアは、3つの畳み込みレイヤを局所的な特徴学習に使用して、機能の集約を単純化することだ。 さらに,NTIRE 2022の高効率超解像問題において,第1位を獲得した。
  論文  参考訳（メタデータ） (2022-05-16T08:46:34Z)
• Pruning Self-attentions into Convolutional Layers in Single Path [89.55361659622305]
  ビジョントランスフォーマー(ViT)は、様々なコンピュータビジョンタスクに対して印象的なパフォーマンスを実現している。 トレーニング済みのViTを効率よく自動圧縮するSPViT(Single-Path Vision Transformer pruning)を提案する。 われわれのSPViTはDeiT-Bで52.0%のFLOPをトリミングできる。
  論文  参考訳（メタデータ） (2021-11-23T11:35:54Z)
• Cream of the Crop: Distilling Prioritized Paths For One-Shot Neural Architecture Search [60.965024145243596]
  ワンショット重み共有手法は、高効率と競争性能のため、最近、ニューラルアーキテクチャ探索において大きな注目を集めている。 この問題を軽減するため, 単純で効果的な蒸留法を提案する。 本稿では、訓練中に優れた性能を示すアーキテクチャ候補を指す優先順位付けパスの概念を紹介する。 優先順位付けされた経路は、その性能や複雑さに応じて、ハエで変化するため、最終的な経路は作物のクリームである。
  論文  参考訳（メタデータ） (2020-10-29T17:55:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。