論文の概要: ReStNet: A Reusable & Stitchable Network for Dynamic Adaptation on IoT Devices

• arxiv url: http://arxiv.org/abs/2506.09066v1
• Date: Sun, 08 Jun 2025 16:14:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:01.621415
• Title: ReStNet: A Reusable & Stitchable Network for Dynamic Adaptation on IoT Devices
• Title（参考訳）: ReStNet:IoTデバイス上の動的適応のための再利用可能な、安定的なネットワーク
• Authors: Maoyu Wang, Yao Lu, Jiaqi Nie, Zeyu Wang, Yun Lin, Qi Xuan, Guan Gui,
• Abstract要約: ReStNetは、2つの事前訓練されたモデルを縫合することで、ハイブリッドネットワークを動的に構築する。 実行時に柔軟な精度と効率のトレードオフを実現すると同時に、トレーニングコストを大幅に削減する。
• 参考スコア（独自算出の注目度）: 16.762206782460296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid development of deep learning, a growing number of pre-trained models have been publicly available. However, deploying these fixed models in real-world IoT applications is challenging because different devices possess heterogeneous computational and memory resources, making it impossible to deploy a single model across all platforms. Although traditional compression methods, such as pruning, quantization, and knowledge distillation, can improve efficiency, they become inflexible once applied and cannot adapt to changing resource constraints. To address these issues, we propose ReStNet, a Reusable and Stitchable Network that dynamically constructs a hybrid network by stitching two pre-trained models together. Implementing ReStNet requires addressing several key challenges, including how to select the optimal stitching points, determine the stitching order of the two pre-trained models, and choose an effective fine-tuning strategy. To systematically address these challenges and adapt to varying resource constraints, ReStNet determines the stitching point by calculating layer-wise similarity via Centered Kernel Alignment (CKA). It then constructs the hybrid model by retaining early layers from a larger-capacity model and appending deeper layers from a smaller one. To facilitate efficient deployment, only the stitching layer is fine-tuned. This design enables rapid adaptation to changing budgets while fully leveraging available resources. Moreover, ReStNet supports both homogeneous (CNN-CNN, Transformer-Transformer) and heterogeneous (CNN-Transformer) stitching, allowing to combine different model families flexibly. Extensive experiments on multiple benchmarks demonstrate that ReStNet achieve flexible accuracy-efficiency trade-offs at runtime while significantly reducing training cost.
• Abstract（参考訳）: ディープラーニングの急速な発展に伴い、多くの事前学習モデルが公開されている。 しかし、これらの固定モデルを実際のIoTアプリケーションにデプロイすることは困難である。なぜなら、異なるデバイスが異質な計算とメモリリソースを持っているため、すべてのプラットフォームに単一のモデルをデプロイすることは不可能である。 プルーニング、量子化、知識蒸留といった従来の圧縮法は効率を向上させることができるが、一度適用すると柔軟性が低下し、資源の制約の変化に適応できない。 これらの問題に対処するために、ReStNetを提案する。Reusable and Stitchable Networkは、2つの事前学習されたモデルを縫合することで、動的にハイブリッドネットワークを構築する。 ReStNetの実装には、最適な縫合点の選択、トレーニング済みモデルの縫合順序の決定、効果的な微調整戦略の選択など、いくつかの重要な課題に対処する必要がある。 これらの課題に体系的に対処し、様々なリソース制約に適応するために、ReStNet は Centered Kernel Alignment (CKA) を通じて階層的に類似性を計算することで縫合点を決定する。 次に、より大きなキャパシティモデルから初期のレイヤを保持し、より深いレイヤを小さなモデルから追加することで、ハイブリッドモデルを構築する。 効率的な展開を容易にするため、縫合層のみを微調整する。 この設計により、利用可能なリソースを十分に活用しながら、予算の変更に迅速に適応することができる。 さらに、ReStNetは同種(CNN-CNN、Transformer-Transformer)と異種(CNN-Transformer)の縫合をサポートし、異なるモデルファミリを柔軟に組み合わせることができる。 複数のベンチマークに関する大規模な実験は、ReStNetが実行時に柔軟な精度と効率のトレードオフを達成し、トレーニングコストを大幅に削減していることを示している。

関連論文リスト

• Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration [100.54419875604721]
  オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。 我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。 我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-02T17:58:49Z)
• Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
  Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。 CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
  論文  参考訳（メタデータ） (2024-02-27T08:47:19Z)
• Efficient Stitchable Task Adaptation [47.94819192325723]
  そこで本研究では,高度調整型モデルのパレットを効率よく作成するための新しいフレームワークであるEfficient Stitchable Task Adaptation (ESTA)を提案する。 具体的には、縫合物間で低ランク更新を共有するために、パラメータ効率の高いファインチューニングを第1に調整する。 簡単なが効果的なワンステージデプロイメントパイプラインを合理化し、デプロイすべき重要な縫合を見積もる。
  論文  参考訳（メタデータ） (2023-11-29T04:31:35Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Stitchable Neural Networks [40.8842135978138]
  モデル展開のための新しいスケーラブルで効率的なフレームワークであるStitchable Neural Networks (SN-Net)を紹介する。 SN-Netは、アンカーをブロック/レイヤに分割し、単純な縫合層で縫合して、アンカーから別のアンカーへのアクティベーションをマッピングする。 ImageNet分類の実験では、SN-Netは、訓練された多くのネットワークよりも、オンパーまたはさらに優れたパフォーマンスを得ることができることが示されている。
  論文  参考訳（メタデータ） (2023-02-13T18:37:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。