Fugu-MT 論文翻訳(概要): Stitchable Neural Networks

論文の概要: Stitchable Neural Networks

arxiv url: http://arxiv.org/abs/2302.06586v1
Date: Mon, 13 Feb 2023 18:37:37 GMT
ステータス: 処理完了
システム内更新日: 2023-02-14 14:27:42.528205
Title: Stitchable Neural Networks
Title（参考訳）: スティッチブルニューラルネットワーク
Authors: Zizheng Pan, Jianfei Cai, Bohan Zhuang
Abstract要約: モデル展開のための新しいスケーラブルで効率的なフレームワークであるStitchable Neural Networks (SN-Net)を紹介する。 SN-Netは、事前に訓練されたニューラルネットワークのファミリーを分割します。 SN-Netは、個別に訓練されたネットワークよりも高い性能が得られることを示す。
参考スコア（独自算出の注目度）: 40.8842135978138
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The public model zoo containing enormous powerful pretrained model families (e.g., DeiT/Swin) has reached an unprecedented scope than ever, which significantly contributes to the success of deep learning. As each model family consists of pretrained models with diverse scales (e.g., DeiT-Ti/S/B), it naturally arises a fundamental question of how to effectively assemble these readily available models in a family for dynamic accuracy-efficiency trade-offs at runtime. In this work, we present Stitchable Neural Networks (SN-Net), a novel scalable and efficient framework for model deployment which cheaply produces numerous networks with different complexity and performance trade-offs. Specifically, SN-Net splits a family of pretrained neural networks, which we call anchors, across the blocks/layers and then stitches them together with simple stitching layers to map the activations from one anchor to another. With only a few epochs of training, SN-Net effectively interpolates between the performance of anchors with varying scales. At runtime, SN-Net can instantly adapt to dynamic resource constraints by switching the stitching positions. Furthermore, we provide a comprehensive study on what, how and where to stitch as well as a simple strategy for effectively and efficiently training SN-Net. Extensive experiments on ImageNet classification demonstrate that SN-Net can obtain on-par or even better performance than many individually trained networks while supporting diverse deployment scenarios. For example, by stitching Swin Transformers, we challenge hundreds of models in Timm model zoo with a single network. We believe this new elastic model framework can serve as a strong baseline for further research in wider communities.
Abstract（参考訳）: 巨大な事前訓練されたモデルファミリー(例:DeiT/Swin)を含むパブリックモデル動物園は、これまでになく前例のない範囲に達し、ディープラーニングの成功に大きく貢献している。各モデルファミリは、様々なスケール(例えば、DeiT-Ti/S/B)で事前訓練されたモデルで構成されているため、実行時に動的精度と効率のトレードオフのために、これらの容易なモデルをファミリにどのように効果的に組み立てるかという根本的な問題が発生する。本研究では,モデル展開のための新しいスケーラブルで効率的なフレームワークであるStitchable Neural Networks (SN-Net)を紹介する。具体的には、SN-Netは事前訓練されたニューラルネットワークのファミリーを分割し、それをアンカーと呼び、ブロック/層にまたがってそれらを縫い合わせることで、アンカーから別のアンカーへのアクティベーションをマッピングする。 SN-Netはトレーニングのごく一部で、様々なスケールのアンカーのパフォーマンスを効果的に補間する。実行時にSN-Netは、縫合位置を切り替えることで、動的リソース制約に即座に適応できる。さらに, 縫合方法, 縫合方法, およびSN-Netを効果的かつ効率的に訓練するための簡単な戦略について, 総合的研究を行った。 ImageNet分類に関する大規模な実験では、SN-Netは、さまざまなデプロイメントシナリオをサポートしながら、訓練された多くのネットワークよりも、オンパーまたはさらに優れたパフォーマンスを得ることができることが示されている。例えば、Swin Transformerを縫い合わせることで、単一のネットワークを持つTimモデル動物園の数百のモデルに挑戦する。この新しい弾力性モデルフレームワークは、より広いコミュニティにおけるさらなる研究の強力なベースラインとなると信じています。

関連論文リスト

Transferable Post-training via Inverse Value Learning [83.75002867411263]
別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
論文参考訳（メタデータ） (2024-10-28T13:48:43Z)
Cross Spline Net and a Unified World [41.69175843713757]
クロススプラインネット(CSN)はスプライン変換とクロスネットワークの組み合わせに基づいている。 CSNは、上記の一連の非ニューラルネットワークモデルを同じニューラルネットワークフレームワークの下に配置する統合モデリングフレームワークを提供する。 CSNはパフォーマンスが高く、使いやすく、より複雑で、より解釈しやすく、堅牢であることを示します。
論文参考訳（メタデータ） (2024-10-24T20:45:48Z)
Building Variable-sized Models via Learngene Pool [39.99697115082106]
近年,Stitchable Neural Networks (SN-Net) が提案されている。 SN-Netはリソース制約の少ないモデルを構築するという課題に直面している。本稿ではこれらの課題を克服するために,Leargen Poolと呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2023-12-10T03:46:01Z)
Subnetwork-to-go: Elastic Neural Network with Dynamic Training and Customizable Inference [16.564868336748503]
本稿では,大規模ネットワークを訓練し,モデルサイズや複雑性の制約を考慮し,そのサブネットワークを柔軟に抽出する簡単な方法を提案する。音源分離モデルによる実験結果から,提案手法は,異なるサブネットワークサイズと複雑度をまたいだ分離性能を効果的に向上できることが示された。
論文参考訳（メタデータ） (2023-12-06T12:40:06Z)
Efficient Stitchable Task Adaptation [47.94819192325723]
そこで本研究では,高度調整型モデルのパレットを効率よく作成するための新しいフレームワークであるEfficient Stitchable Task Adaptation (ESTA)を提案する。具体的には、縫合物間で低ランク更新を共有するために、パラメータ効率の高いファインチューニングを第1に調整する。簡単なが効果的なワンステージデプロイメントパイプラインを合理化し、デプロイすべき重要な縫合を見積もる。
論文参考訳（メタデータ） (2023-11-29T04:31:35Z)
SortedNet: A Scalable and Generalized Framework for Training Modular Deep Neural Networks [30.069353400127046]
我々は、ディープニューラルネットワーク(DNN)の固有のモジュラリティを活用するためにSortedNetを提案する。 SortedNetは、メインモデルのトレーニングと同時にサブモデルのトレーニングを可能にする。一度に160台のサブモデルを訓練でき、オリジナルのモデルの性能の少なくとも96%を達成できる。
論文参考訳（メタデータ） (2023-09-01T05:12:25Z)
Stitched ViTs are Flexible Vision Backbones [51.441023711924835]
我々は、縫合可能なニューラルネットワーク(SN-Net)にインスパイアされ、訓練済みのモデルファミリーを縫合することで、リッチワークをカバーする単一のモデルを生成する。我々は、下流タスク適応を容易にするために、体系的に改良されたモデル縫合フレームワークSN-Netv2を紹介する。 SN-Netv2は、下流の高密度予測においてSN-Netv1よりも優れた性能を示し、柔軟なビジョンバックボーンとして強力な能力を示している。
論文参考訳（メタデータ） (2023-06-30T22:05:34Z)
Vertical Layering of Quantized Neural Networks for Heterogeneous Inference [57.42762335081385]
量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
論文参考訳（メタデータ） (2022-12-10T15:57:38Z)
Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
論文参考訳（メタデータ） (2021-06-16T15:57:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。