論文の概要: GrowTAS: Progressive Expansion from Small to Large Subnets for Efficient ViT Architecture Search

• arxiv url: http://arxiv.org/abs/2512.12296v1
• Date: Sat, 13 Dec 2025 11:40:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.205305
• Title: GrowTAS: Progressive Expansion from Small to Large Subnets for Efficient ViT Architecture Search
• Title（参考訳）: GrowTAS: 効率的なViTアーキテクチャ探索のための小型から大規模サブネットへの進歩的拡張
• Authors: Hyunju Lee, Youngmin Oh, Jeimin Jeon, Donghyeon Baek, Bumsub Ham,
• Abstract要約: Transformer Architecture Search (TAS)は、効率的な視覚変換器(ViT)を自動的に発見することを目的としている。 既存のTASメソッドは同じ重みのセットを共有しており、それによって干渉が発生し、より小さなものを著しく劣化させる。 そこで我々は,GrowTASと呼ばれるプログレッシブトレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 32.4058548929608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer architecture search (TAS) aims to automatically discover efficient vision transformers (ViTs), reducing the need for manual design. Existing TAS methods typically train an over-parameterized network (i.e., a supernet) that encompasses all candidate architectures (i.e., subnets). However, all subnets share the same set of weights, which leads to interference that degrades the smaller subnets severely. We have found that well-trained small subnets can serve as a good foundation for training larger ones. Motivated by this, we propose a progressive training framework, dubbed GrowTAS, that begins with training small subnets and incorporate larger ones gradually. This enables reducing the interference and stabilizing a training process. We also introduce GrowTAS+ that fine-tunes a subset of weights only to further enhance the performance of large subnets. Extensive experiments on ImageNet and several transfer learning benchmarks, including CIFAR-10/100, Flowers, CARS, and INAT-19, demonstrate the effectiveness of our approach over current TAS methods
• Abstract（参考訳）: Transformer Architecture Search (TAS) は、効率的な視覚変換器(ViT)を自動的に発見することを目的としており、手動設計の必要性を減らす。 既存のTASメソッドは通常、全ての候補アーキテクチャ(サブネット)を含む過パラメータネットワーク(スーパーネット)を訓練する。 しかし、全てのサブネットは同じ重みの集合を共有し、小さなサブネットを著しく劣化させる干渉を引き起こす。 十分に訓練された小さなサブネットは、より大きなサブネットをトレーニングするための良い基盤となることが分かってきた。 そこで我々は、GrowTASと呼ばれるプログレッシブトレーニングフレームワークを提案する。 これにより、干渉の低減とトレーニングプロセスの安定化が可能になる。 また、重みのサブセットを微調整するGrowTAS+を導入し、大きなサブネットの性能をさらに向上させる。 ImageNet と CIFAR-10/100, Flowers, CARS, INAT-19 など,いくつかの移動学習ベンチマークの広範な実験により,現在のTAS 法に対するアプローチの有効性が実証された。

関連論文リスト

• Subnet-Aware Dynamic Supernet Training for Neural Architecture Search [34.085718250054136]
  Nショットアーキテクチャサーチ(NAS)は、与えられた検索空間のすべての候補を含むスーパーネットを利用する。 スーパーネットトレーニングは低複雑さ(不公平)に偏っている 本稿では,これらの問題に対処するための動的スーパーネットトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2025-03-13T17:07:04Z)
• SuperSAM: Crafting a SAM Supernetwork via Structured Pruning and Unstructured Parameter Prioritization [6.8331250697000865]
  視覚変換器(ViT)に基づくアーキテクチャの検索空間設計戦略を提案する。 特に,Segment Anything Model(SAM)をSuperSAMと呼ばれる重み共有スーパーネットワークに変換する。 提案手法では,階層的に構造化されたプルーニングとパラメータ優先順位付けによる探索空間設計の自動化を行う。
  論文  参考訳（メタデータ） (2025-01-15T00:54:12Z)
• Slicing Vision Transformer for Flexible Inference [79.35046907288518]
  一つのネットワークが複数の小さな ViT を表現できるように,Scala という名前の汎用フレームワークを提案する。 S Scalaは、パラメータが少ないImageNet-1Kで平均1.6%の改善を実現している。
  論文  参考訳（メタデータ） (2024-12-06T05:31:42Z)
• Efficient Stagewise Pretraining via Progressive Subnetworks [53.00045381931778]
  一般的な見方では、レイヤのドロップのような段階的なドロップ戦略は、スタック方式のアプローチと比べて効果がない。 本稿では, 適切な設計で, 戦略の廃止は, 積み重ね手法よりも競争力があることを示すことによって, この概念に挑戦する。 本稿では,各ステップでランダムサブネットワークのみを選択し,訓練し,段階的に拡大するランダムパートトレーニング(RAPTR)を提案する。
  論文  参考訳（メタデータ） (2024-02-08T18:49:09Z)
• Mixture-of-Supernets: Improving Weight-Sharing Supernet Training with Architecture-Routed Mixture-of-Experts [55.470959564665705]
  ウェイトシェアリングスーパーネットは、最先端のニューラルサーチフレームワークのパフォーマンス評価に不可欠である。 提案手法は,高速機械翻訳モデルのためのNASにおける最先端(SoTA)性能を実現する。 メモリ効率のよいタスク非依存のBERTモデルを構築するためにNASが優れている。
  論文  参考訳（メタデータ） (2023-06-08T00:35:36Z)
• Rethinking Hierarchicies in Pre-trained Plain Vision Transformer [76.35955924137986]
  マスク付き画像モデリング(MIM)による自己教師付き事前学習型視覚変換器(ViT)は非常に効果的であることが証明されている。 カスタマイズされたアルゴリズムは、平易なViTのためにバニラと単純なMAEを使用する代わりに、例えばGreenMIMのような階層的なViTのために慎重に設計されるべきである。 本稿では,自己指導型事前学習から階層型アーキテクチャ設計を遠ざける新しいアイデアを提案する。
  論文  参考訳（メタデータ） (2022-11-03T13:19:23Z)
• Does Interference Exist When Training a Once-For-All Network? [21.058917368019713]
  once-For-Allメソッドは、トレーニングされたニューラルネットワークモデルを複数のターゲットプラットフォームにデプロイする。 訓練中に高い干渉が生じると、人口の累積は減少すると考えられている。 この研究では、この干渉効果をもう一度見てみます。 干渉緩和戦略は集団全体のパフォーマンスに大きな影響を与えないことが判明した。
  論文  参考訳（メタデータ） (2022-04-20T03:33:10Z)
• Searching for Efficient Multi-Stage Vision Transformers [42.0565109812926]
  Vision Transformer (ViT)は、自然言語処理のためのTransformerがコンピュータビジョンタスクに適用可能であることを示す。 ViT-ResNASは、ニューラルネットワークサーチ(NAS)で設計された効率的なマルチステージViTアーキテクチャである
  論文  参考訳（メタデータ） (2021-09-01T22:37:56Z)
• Cream of the Crop: Distilling Prioritized Paths For One-Shot Neural Architecture Search [60.965024145243596]
  ワンショット重み共有手法は、高効率と競争性能のため、最近、ニューラルアーキテクチャ探索において大きな注目を集めている。 この問題を軽減するため, 単純で効果的な蒸留法を提案する。 本稿では、訓練中に優れた性能を示すアーキテクチャ候補を指す優先順位付けパスの概念を紹介する。 優先順位付けされた経路は、その性能や複雑さに応じて、ハエで変化するため、最終的な経路は作物のクリームである。
  論文  参考訳（メタデータ） (2020-10-29T17:55:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。