論文の概要: Partial Network Cloning

• arxiv url: http://arxiv.org/abs/2303.10597v1
• Date: Sun, 19 Mar 2023 08:20:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 18:22:06.913725
• Title: Partial Network Cloning
• Title（参考訳）: 部分的ネットワーククローニング
• Authors: Jingwen Ye, Songhua Liu, Xinchao Wang
• Abstract要約: PNCはソースネットワークから部分パラメトリックの「クローズニング」を実行し、クローン化されたモジュールをターゲットに注入する。 本手法はパラメータ調整法と比較して精度が5%向上し,局所性が50%向上した。
• 参考スコア（独自算出の注目度）: 58.83278629019384
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In this paper, we study a novel task that enables partial knowledge transfer from pre-trained models, which we term as Partial Network Cloning (PNC). Unlike prior methods that update all or at least part of the parameters in the target network throughout the knowledge transfer process, PNC conducts partial parametric "cloning" from a source network and then injects the cloned module to the target, without modifying its parameters. Thanks to the transferred module, the target network is expected to gain additional functionality, such as inference on new classes; whenever needed, the cloned module can be readily removed from the target, with its original parameters and competence kept intact. Specifically, we introduce an innovative learning scheme that allows us to identify simultaneously the component to be cloned from the source and the position to be inserted within the target network, so as to ensure the optimal performance. Experimental results on several datasets demonstrate that, our method yields a significant improvement of 5% in accuracy and 50% in locality when compared with parameter-tuning based methods. Our code is available at https://github.com/JngwenYe/PNCloning.
• Abstract（参考訳）: 本稿では,事前学習モデルから部分的知識伝達を可能にする新しい課題について検討し,これを部分的ネットワーククローニング (pnc) と呼ぶ。 知識伝達プロセスを通じてターゲットネットワーク内のパラメータの全てまたは少なくとも一部を更新する以前の方法とは異なり、PNCはソースネットワークから部分パラメトリックな"クローニング"を実行し、そのパラメータを変更することなくクローン化されたモジュールをターゲットに注入する。 転送されたモジュールのおかげで、ターゲットネットワークは、新しいクラスでの推論のような追加機能を得ることが期待されている。 具体的には、ソースからコピーされるコンポーネントと、ターゲットネットワーク内に挿入される位置を同時に識別し、最適な性能を確保するための革新的な学習手法を提案する。 いくつかのデータセットにおける実験結果から,本手法はパラメータチューニング法と比較して精度5%,局所性50%の大幅な改善が得られた。 私たちのコードはhttps://github.com/jngwenye/pncloningで入手できる。

関連論文リスト

• MPruner: Optimizing Neural Network Size with CKA-Based Mutual Information Pruning [7.262751938473306]
  プルーニング(Pruning)は、ニューラルネットワークのサイズを減らし、数学的に精度の保存を保証している、よく確立されたテクニックである。 我々は,ベクトル類似性により相互情報を活用する新しいプルーニングアルゴリズムMPrunerを開発した。 MPrunerはCNNとトランスフォーマーベースのモデルで最大50%のパラメータとメモリ使用量の削減を実現した。
  論文  参考訳（メタデータ） (2024-08-24T05:54:47Z)
• Conditional Information Gain Trellis [1.290382979353427]
  条件計算は、ニューラルネットワークの計算ユニットの一部のみを使用して入力を処理する。 深層畳み込みニューラルネットワークにおける特定の実行パスを生成するために,トレリスに基づくアプローチを用いる。 条件付き実行機構は,非条件付きベースラインと比較して,同等あるいは優れたモデル性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-13T10:23:45Z)
• CMFDFormer: Transformer-based Copy-Move Forgery Detection with Continual Learning [52.72888626663642]
  コピーモーブ偽造検出は、疑わしい偽画像中の重複領域を検出することを目的としている。 深層学習に基づく複写偽造検出手法が最上位にある。 CMFDFormer という名称の Transformer-style copy-move forgery ネットワークを提案する。 また、CMFDFormerが新しいタスクを処理できるように、新しいPCSD連続学習フレームワークを提供する。
  論文  参考訳（メタデータ） (2023-11-22T09:27:46Z)
• On-Device Learning with Binary Neural Networks [2.7040098749051635]
  我々は、最近のCL分野の進歩とBNN(Binary Neural Networks)の効率を取り入れたCLソリューションを提案する。 バックボーンとしてのバイナリネットワークの選択は、低消費電力デバイスの制約を満たすために不可欠である。
  論文  参考訳（メタデータ） (2023-08-29T13:48:35Z)
• Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
  トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。 最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。 このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T17:32:11Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Kernel Modulation: A Parameter-Efficient Method for Training Convolutional Neural Networks [19.56633207984127]
  本研究は,階層のサブセットではなく,ベースネットワークのすべてのパラメータを適応する,新しいパラメータ効率の高いカーネル変調(KM)手法を提案する。 KMは軽量なタスク特化カーネル変調器を使用し、ベースネットワークパラメータの1.4%しか必要としない。 以上の結果から,KMはTransfer Learningベンチマークの他のパラメータ効率の高い手法よりも最大9%高い精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2022-03-29T07:28:50Z)
• Meta-learning Transferable Representations with a Single Target Domain [46.83481356352768]
  微調整とジョイントトレーニングは、下流タスクの精度を常に向上させるわけではない。 伝達可能な特徴を学習するためのメタ表現学習(MeRLin)を提案する。 MeRLinは、様々な実世界のビジョンとNLP転送学習ベンチマークにおいて、従来の最先端のトランスファー学習アルゴリズムを実証的に上回っている。
  論文  参考訳（メタデータ） (2020-11-03T01:57:37Z)
• Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation [111.44445634272235]
  本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。 PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。 我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
  論文  参考訳（メタデータ） (2020-01-13T14:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。