論文の概要: SuperSAM: Crafting a SAM Supernetwork via Structured Pruning and Unstructured Parameter Prioritization

• arxiv url: http://arxiv.org/abs/2501.08504v1
• Date: Wed, 15 Jan 2025 00:54:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:53:04.156746
• Title: SuperSAM: Crafting a SAM Supernetwork via Structured Pruning and Unstructured Parameter Prioritization
• Title（参考訳）: SuperSAM: 構造化プルーニングと非構造化パラメータ優先順位付けによるSAMスーパーネットワークの構築
• Authors: Waqwoya Abebe, Sadegh Jafari, Sixing Yu, Akash Dutta, Jan Strube, Nathan R. Tallent, Luanzheng Guo, Pablo Munoz, Ali Jannesari,
• Abstract要約: 視覚変換器(ViT)に基づくアーキテクチャの検索空間設計戦略を提案する。 特に,Segment Anything Model(SAM)をSuperSAMと呼ばれる重み共有スーパーネットワークに変換する。 提案手法では,階層的に構造化されたプルーニングとパラメータ優先順位付けによる探索空間設計の自動化を行う。
• 参考スコア（独自算出の注目度）: 6.8331250697000865
• License:
• Abstract: Neural Architecture Search (NAS) is a powerful approach of automating the design of efficient neural architectures. In contrast to traditional NAS methods, recently proposed one-shot NAS methods prove to be more efficient in performing NAS. One-shot NAS works by generating a singular weight-sharing supernetwork that acts as a search space (container) of subnetworks. Despite its achievements, designing the one-shot search space remains a major challenge. In this work we propose a search space design strategy for Vision Transformer (ViT)-based architectures. In particular, we convert the Segment Anything Model (SAM) into a weight-sharing supernetwork called SuperSAM. Our approach involves automating the search space design via layer-wise structured pruning and parameter prioritization. While the structured pruning applies probabilistic removal of certain transformer layers, parameter prioritization performs weight reordering and slicing of MLP-blocks in the remaining layers. We train supernetworks on several datasets using the sandwich rule. For deployment, we enhance subnetwork discovery by utilizing a program autotuner to identify efficient subnetworks within the search space. The resulting subnetworks are 30-70% smaller in size compared to the original pre-trained SAM ViT-B, yet outperform the pretrained model. Our work introduces a new and effective method for ViT NAS search-space design.
• Abstract（参考訳）: ニューラルネットワーク探索(NAS)は、効率的なニューラルネットワークの設計を自動化する強力なアプローチである。 従来のNAS法とは対照的に、最近提案されたワンショットNAS法はNASを行う上でより効率的であることが証明された。 ワンショットNASは、サブネットのサーチスペース(コンテナ)として機能する単一のウェイトシェアリングスーパーネットワークを生成することで機能する。 その成果にもかかわらず、ワンショットの検索スペースを設計することは依然として大きな課題だ。 本研究では,視覚変換器(ViT)に基づくアーキテクチャの検索空間設計戦略を提案する。 特に,Segment Anything Model(SAM)をSuperSAMと呼ばれる重み共有スーパーネットワークに変換する。 提案手法では,階層的に構造化されたプルーニングとパラメータ優先順位付けによる探索空間設計の自動化を行う。 構造化プルーニングはある種の変圧器層を確率論的に除去するが、パラメータ優先順位付けは残りの層でMLPブロックの重み付けとスライシングを行う。 サンドイッチルールを使用して、いくつかのデータセットでスーパーネットワークをトレーニングします。 本稿では,プログラムオートチューニングを利用して,探索空間内の効率的なサブネットワークを同定することにより,サブネットワーク発見の促進を図る。 結果として得られたサブネットサイズはオリジナルのSAM ViT-Bに比べて30-70%小さくなったが、事前訓練されたモデルよりも優れていた。 そこで本研究では,VT NAS検索空間設計のための新しい効果的手法を提案する。

関連論文リスト

• Efficient Few-Shot Neural Architecture Search by Counting the Number of Nonlinear Functions [29.76210308781724]
  探索空間を分割するために非線形関数の数を利用する新しい数ショットNAS法を提案する。 空間を分割するためにスーパーネットの勾配を比較する必要はないため,本手法は効率的である。 さらに、空間を分割することで、各スーパーネットに必要なチャネル次元を削減できることがわかった。
  論文  参考訳（メタデータ） (2024-12-19T09:31:53Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• $\alpha$NAS: Neural Architecture Search using Property Guided Synthesis [1.2746672439030722]
  我々は,より大規模な設計空間において,効率的なニューラルアーキテクチャ探索(NAS)を可能にする技術を開発した。 1) 抽象的な検索空間は元の検索空間よりもかなり小さく,(2) 類似したプログラム特性を持つアーキテクチャも類似した性能を持つ。 我々は進化的フレームワーク内に$alpha$NASというアプローチを実装し、プログラムの特性によって変異が導かれる。
  論文  参考訳（メタデータ） (2022-05-08T21:48:03Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• UENAS: A Unified Evolution-based NAS Framework [11.711427415684955]
  UENASは、より広い検索空間を持つ進化型NASフレームワークである。 拡張された検索空間によって引き起こされる膨大な検索コストを軽減するための3つの戦略を提案する。 UENASはCIFAR-10で2.81%、CIFAR-100で20.24%、Tiny-ImageNetで33%のエラー率を達成した。
  論文  参考訳（メタデータ） (2022-03-08T09:14:37Z)
• Enabling NAS with Automated Super-Network Generation [60.72821429802335]
  最近のニューラルアーキテクチャサーチ(NAS)ソリューションは、スーパーネットワークをトレーニングし、それから導出作業を行うという印象的な結果を生み出している。 本稿では,NAS用スーパーネットワークの自動生成のためのソフトウェアフレームワークであるBootstrapNASを紹介する。
  論文  参考訳（メタデータ） (2021-12-20T21:45:48Z)
• Efficient Transfer Learning via Joint Adaptation of Network Architecture and Weight [66.8543732597723]
  近年のニューラルネットワーク探索(NAS)は,十分なネットワーク探索空間を確立することで伝達学習を支援する。 本稿では,2つのモジュールからなる新しいフレームワークを提案する。アーキテクチャトランスファーのためのニューラルアーキテクチャ探索モジュールと,ウェイトトランスファーのためのニューラルウェイト探索モジュールである。 これら2つのモジュールは、減らされたスーパーネットワークに基づいてターゲットタスクを探索するので、ソースタスクのみを訓練する必要がある。
  論文  参考訳（メタデータ） (2021-05-19T08:58:04Z)
• Revisiting Neural Architecture Search [0.0]
  我々は、人間の努力を伴わずに完全なニューラルネットワークを探索する新しいアプローチを提案し、AutoML-nirvanaに一歩近づいた。 提案手法は,ニューラルネットワークにマッピングされた完全なグラフから始まり,探索空間の探索と利用のバランスをとることにより,接続と操作を探索する。
  論文  参考訳（メタデータ） (2020-10-12T13:57:30Z)
• Powering One-shot Topological NAS with Stabilized Share-parameter Proxy [65.09967910722932]
  ワンショットNAS法は、高性能モデルを発見するための訓練効率と能力が際立ったため、研究コミュニティから大きな関心を集めている。 本研究では,大規模Topology Augmented Search Spaceにおいて,高性能なネットワークアーキテクチャを探索することにより,ワンショットNASの向上を図る。 提案手法は,ImageNet 上の Multiply-Adds (MAdds) 制約下での最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-05-21T08:18:55Z)
• Progressive Automatic Design of Search Space for One-Shot Neural Architecture Search [15.017964136568061]
  単発モデルの精度が高いモデルでは,スタンドアローンの訓練では必ずしも優れた性能が得られない。 PAD-NASという検索空間のプログレッシブ自動設計を提案する。 このようにして、PAD-NASは各レイヤの操作を自動的に設計し、検索空間の品質とモデルの多様性のトレードオフを達成できる。
  論文  参考訳（メタデータ） (2020-05-15T14:21:07Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。