論文の概要: StitchNet: Composing Neural Networks from Pre-Trained Fragments
- arxiv url: http://arxiv.org/abs/2301.01947v2
- Date: Mon, 17 Jul 2023 09:06:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 23:40:16.266677
- Title: StitchNet: Composing Neural Networks from Pre-Trained Fragments
- Title（参考訳）: StitchNet: トレーニング済みフラグメントからニューラルネットワークを構成する
- Authors: Surat Teerapittayanon, Marcus Comiter, Brad McDanel, H.T. Kung
- Abstract要約: 複数のトレーニング済みニューラルネットワークの断片を縫合する新しいニューラルネットワーク生成パラダイムを提案する。
StitchNetは、従来のモデル生成プロセスで必要な大きな計算とデータを必要とすることなく、高性能なニューラルネットワークを作成することができる。
- 参考スコア（独自算出の注目度）: 3.1823074562424756
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose StitchNet, a novel neural network creation paradigm that stitches
together fragments (one or more consecutive network layers) from multiple
pre-trained neural networks. StitchNet allows the creation of high-performing
neural networks without the large compute and data requirements needed under
traditional model creation processes via backpropagation training. We leverage
Centered Kernel Alignment (CKA) as a compatibility measure to efficiently guide
the selection of these fragments in composing a network for a given task
tailored to specific accuracy needs and computing resource constraints. We then
show that these fragments can be stitched together to create neural networks
with comparable accuracy to traditionally trained networks at a fraction of
computing resource and data requirements. Finally, we explore a novel
on-the-fly personalized model creation and inference application enabled by
this new paradigm.
- Abstract（参考訳）: 複数のトレーニング済みニューラルネットワークから断片(1つ以上の連続的なネットワーク層)を縫合する新しいニューラルネットワーク生成パラダイムであるStitchNetを提案する。
StitchNetは、バックプロパゲーショントレーニングを通じて、従来のモデル作成プロセスで必要となる大きな計算とデータを必要とすることなく、高性能なニューラルネットワークを作成することができる。
我々はCKA(Centered Kernel Alignment)を互換性尺度として利用し、特定の精度のニーズやリソース制約に合わせたタスクのネットワークを構成する際に、これらのフラグメントの選択を効率的に導く。
次に、これらのフラグメントを縫い合わせることで、コンピュータリソースとデータ要求のごく一部で、従来トレーニングされたネットワークに匹敵する精度でニューラルネットワークを作成することができることを示す。
最後に,この新たなパラダイムによって実現されたモデル生成と推論アプリケーションについて検討する。
関連論文リスト
- NEAR: A Training-Free Pre-Estimator of Machine Learning Model Performance [0.0]
我々は、トレーニングなしで最適なニューラルネットワークを特定するために、アクティベーションランク(NEAR)によるゼロコストプロキシネットワーク表現を提案する。
このネットワークスコアとNAS-Bench-101とNATS-Bench-SSS/TSSのモデル精度の最先端相関を実証した。
論文 参考訳（メタデータ） (2024-08-16T14:38:14Z) - Stitching for Neuroevolution: Recombining Deep Neural Networks without Breaking Them [0.0]
神経進化への伝統的なアプローチは、しばしばゼロから始まる。
アーキテクチャと特徴表現が典型的に異なるため、トレーニングされたネットワークの再結合は簡単ではない。
我々は、クロスオーバーポイントで新しいレイヤを導入することで、ネットワークをマージするステアリングを採用しています。
論文 参考訳（メタデータ） (2024-03-21T08:30:44Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Increasing Depth of Neural Networks for Life-long Learning [2.0305676256390934]
本稿では,ニューラルネットワークの深度増加に基づく連続学習手法を提案する。
この研究は、ニューラルネットワークの深さを延ばすことが、生涯にわたる学習環境で有益かどうかを探求する。
論文 参考訳（メタデータ） (2022-02-22T11:21:41Z) - Fast Adaptation with Linearized Neural Networks [35.43406281230279]
ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。
この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。
この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
論文 参考訳（メタデータ） (2021-03-02T03:23:03Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳（メタデータ） (2021-02-03T09:30:45Z) - Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
過パラメータのニューラルネットワークが制約を満たしていることを示す。
公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
論文 参考訳（メタデータ） (2020-12-30T18:46:50Z) - Graph-Based Neural Network Models with Multiple Self-Supervised
Auxiliary Tasks [79.28094304325116]
グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。
マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
論文 参考訳（メタデータ） (2020-11-14T11:09:51Z) - Finding trainable sparse networks through Neural Tangent Transfer [16.092248433189816]
深層学習において、特定のタスクでうまく機能する訓練可能なスパースネットワークは通常、ラベル依存プルーニング基準を用いて構築される。
本稿では,学習可能なスパースネットワークをラベルフリーで検出する手法であるNeural Tangent Transferを紹介する。
論文 参考訳（メタデータ） (2020-06-15T08:58:01Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。