論文の概要: SOLAR: Switchable Output Layer for Accuracy and Robustness in Once-for-All Training

• arxiv url: http://arxiv.org/abs/2509.16833v1
• Date: Sat, 20 Sep 2025 23:15:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:15.996841
• Title: SOLAR: Switchable Output Layer for Accuracy and Robustness in Once-for-All Training
• Title（参考訳）: SOLAR: 一度のトレーニングにおける精度とロバスト性のための切換え可能な出力層
• Authors: Shaharyar Ahmed Khan Tareen, Lei Fan, Xiaojing Yuan, Qin Lin, Bin Hu,
• Abstract要約: once-for-All(OFA)トレーニングにより、単一のスーパーネットが、多様なデプロイメントシナリオに適した複数のサブネットを生成することができる。 我々は,各サブネットに個別の分類ヘッドを割り当てる技術であるSOLAR(Switchable Output Layer for Accuracy and Robustness in Once-for-All Training)を提案する。
• 参考スコア（独自算出の注目度）: 5.872858426296439
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Once-for-All (OFA) training enables a single super-net to generate multiple sub-nets tailored to diverse deployment scenarios, supporting flexible trade-offs among accuracy, robustness, and model-size without retraining. However, as the number of supported sub-nets increases, excessive parameter sharing in the backbone limits representational capacity, leading to degraded calibration and reduced overall performance. To address this, we propose SOLAR (Switchable Output Layer for Accuracy and Robustness in Once-for-All Training), a simple yet effective technique that assigns each sub-net a separate classification head. By decoupling the logit learning process across sub-nets, the Switchable Output Layer (SOL) reduces representational interference and improves optimization, without altering the shared backbone. We evaluate SOLAR on five datasets (SVHN, CIFAR-10, STL-10, CIFAR-100, and TinyImageNet) using four super-net backbones (ResNet-34, WideResNet-16-8, WideResNet-40-2, and MobileNetV2) for two OFA training frameworks (OATS and SNNs). Experiments show that SOLAR outperforms the baseline methods: compared to OATS, it improves accuracy of sub-nets up to 1.26 %, 4.71 %, 1.67 %, and 1.76 %, and robustness up to 9.01 %, 7.71 %, 2.72 %, and 1.26 % on SVHN, CIFAR-10, STL-10, and CIFAR-100, respectively. Compared to SNNs, it improves TinyImageNet accuracy by up to 2.93 %, 2.34 %, and 1.35 % using ResNet-34, WideResNet-16-8, and MobileNetV2 backbones (with 8 sub-nets), respectively.
• Abstract（参考訳）: once-for-All(OFA)トレーニングにより、単一のスーパーネットが、さまざまなデプロイメントシナリオに適した複数のサブネットを生成することができる。 しかし、サポート対象のサブネットの数が増えるにつれて、バックボーン内の過剰なパラメータ共有が表現能力を制限し、キャリブレーションが低下し、全体的な性能が低下する。 そこで本研究では,SOLAR (Switchable Output Layer for Accuracy and Robustness in Once-for-All Training)を提案する。 サブネット間でのロジット学習プロセスを分離することにより、SOL(Switchable Output Layer)は表現的干渉を低減し、共有バックボーンを変更することなく最適化を改善する。 5つのデータセット(SVHN, CIFAR-10, STL-10, CIFAR-100, TinyImageNet)に対して,2つのOFAトレーニングフレームワーク(OATSとSNN)に対して,4つのスーパーネットバックボーン(ResNet-34, WideResNet-16-8, WideResNet-40-2, MobileNetV2)を用いてSOLARを評価する。 実験の結果、SOLARはOATSと比較して、サブネットの精度を1.26 %、4.71 %、1.67 %、および1.76 %に向上し、それぞれSVHN、CIFAR-10、STL-10、CIFAR-100で9.01 %、7.71 %、2.72 %、および1.26 %に向上した。 SNNと比較して、TinyImageNetの精度は2.93 %、2.34 %、および1.35 %まで向上し、それぞれResNet-34、WideResNet-16-8、MobileNetV2のバックボーン(サブネット8個)を使用している。

関連論文リスト

• Learning Activation Functions for Sparse Neural Networks [12.234742322758418]
  スパースニューラルネットワーク(SNN)は、密度の高いニューラルネットワークと同じようなパフォーマンスを示す可能性がある。 しかし、SNNによる精度低下、特に高い刈り込み比は、重要な配置条件において問題となる可能性がある。 スパースネットワークのためのアクティベーション関数をチューニングする新しい方法を学ぶことに集中する。
  論文  参考訳（メタデータ） (2023-05-18T13:30:29Z)
• Reinforce Data, Multiply Impact: Improved Model Accuracy and Robustness with Dataset Reinforcement [68.44100784364987]
  本研究では、強化データセット上でトレーニングされたモデルアーキテクチャの精度が、ユーザにとって追加のトレーニングコストなしで向上するように、データセットを改善する戦略を提案する。 ImageNet+と呼ばれるImageNetトレーニングデータセットの強化バージョンと、強化されたデータセットCIFAR-100+、Flowers-102+、Food-101+を作成します。 ImageNet+でトレーニングされたモデルは、より正確で、堅牢で、校正され、下流タスクにうまく転送されます。
  論文  参考訳（メタデータ） (2023-03-15T23:10:17Z)
• EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
  入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。 パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2022-06-21T17:59:56Z)
• Elastic-Link for Binarized Neural Network [9.83865304744923]
  ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。 ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。 ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
  論文  参考訳（メタデータ） (2021-12-19T13:49:29Z)
• EfficientNetV2: Smaller Models and Faster Training [91.77432224225221]
  本稿では,従来のモデルよりも高速な学習速度とパラメータ効率を有する畳み込みネットワークであるEfficientNetV2を紹介する。 トレーニング対応のニューラルネットワークアーキテクチャ検索とスケーリングを組み合わせて、トレーニング速度とパラメータ効率を共同で最適化します。 実験の結果,EfficientNetV2モデルは最先端モデルよりも最大6.8倍の速度でトレーニングできることがわかった。
  論文  参考訳（メタデータ） (2021-04-01T07:08:36Z)
• Towards Lossless Binary Convolutional Neural Networks Using Piecewise Approximation [4.023728681102073]
  CNNは算術演算の数とメモリストレージのサイズを大幅に減らすことができる。 しかし、単一のバイナリCNNと複数のバイナリCNNの精度劣化は、現代のアーキテクチャでは受け入れられない。 完全精度の重みとアクティベーションを近似することにより、精度の低下を低減できる複数のバイナリCNNに対するPiecewise Approximationスキームを提案する。
  論文  参考訳（メタデータ） (2020-08-08T13:32:33Z)
• Improved Residual Networks for Image and Video Recognition [98.10703825716142]
  ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。 ベースライン上での精度と学習収束性を一貫した改善を示す。 提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
  論文  参考訳（メタデータ） (2020-04-10T11:09:50Z)
• Pre-defined Sparsity for Low-Complexity Convolutional Neural Networks [9.409651543514615]
  この研究は、フィルタ内で定期的に繰り返されるサポートセットを持つ、事前に定義されたスパース2Dカーネルを持つ畳み込みレイヤを導入している。 周期的なスパースカーネルの効率的な保存のため、パラメータの節約はエネルギー効率を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-01-29T07:10:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。