論文の概要: Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks

• arxiv url: http://arxiv.org/abs/1912.13503v4
• Date: Fri, 31 Jul 2020 00:44:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-16 20:07:19.068412
• Title: Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks
• Title（参考訳）: side-tuning: 追加サイドネットワークによるネットワーク適応のためのベースライン
• Authors: Jeffrey O Zhang, Alexander Sax, Amir Zamir, Leonidas Guibas, Jitendra Malik
• Abstract要約: 適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
• 参考スコア（独自算出の注目度）: 95.51368472949308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When training a neural network for a desired task, one may prefer to adapt a pre-trained network rather than starting from randomly initialized weights. Adaptation can be useful in cases when training data is scarce, when a single learner needs to perform multiple tasks, or when one wishes to encode priors in the network. The most commonly employed approaches for network adaptation are fine-tuning and using the pre-trained network as a fixed feature extractor, among others. In this paper, we propose a straightforward alternative: side-tuning. Side-tuning adapts a pre-trained network by training a lightweight "side" network that is fused with the (unchanged) pre-trained network via summation. This simple method works as well as or better than existing solutions and it resolves some of the basic issues with fine-tuning, fixed features, and other common approaches. In particular, side-tuning is less prone to overfitting, is asymptotically consistent, and does not suffer from catastrophic forgetting in incremental learning. We demonstrate the performance of side-tuning under a diverse set of scenarios, including incremental learning (iCIFAR, iTaskonomy), reinforcement learning, imitation learning (visual navigation in Habitat), NLP question-answering (SQuAD v2), and single-task transfer learning (Taskonomy), with consistently promising results.
• Abstract（参考訳）: 望ましいタスクのためにニューラルネットワークをトレーニングする場合、ランダムに初期化された重みから始めるよりも、トレーニング済みのネットワークに適応する方がよい。 適応性は、トレーニングデータが不足している場合、単一の学習者が複数のタスクを実行する必要がある場合、あるいはネットワークで事前をエンコードしたい場合に役立つ。 ネットワーク適応のための最も一般的なアプローチは、微調整と固定特徴抽出器として事前訓練されたネットワークの利用である。 本稿では,その代替案であるサイドチューニングを提案する。 サイドチューニングは、(変更されていない)事前トレーニングされたネットワークと総和で融合した軽量な"サイド"ネットワークをトレーニングすることで、事前トレーニングされたネットワークに適応する。 この単純な方法は、既存のソリューションと同等かそれ以上に機能し、微調整、固定機能、その他の一般的なアプローチに関する基本的な問題を解決します。 特に、サイドチューニングは過度に適合しにくく、漸近的に一貫性があり、漸進的な学習における破滅的な忘れに苦しむことはない。 本研究では,インクリメンタル学習 (icifar, itaskonomy),強化学習,模倣学習 (visual navigation in habitat), nlp質問応答学習 (squad v2) およびシングルタスク伝達学習 (taskonomy) など,様々なシナリオにおけるサイドチューニングの性能を示す。

関連論文リスト

• Adaptive Depth Networks with Skippable Sub-Paths [1.8416014644193066]
  本稿では,最小限のトレーニングを施した適応深度ネットワークへの実践的アプローチを提案する。 当社のアプローチは,すべてのターゲットサブネットワークを反復的にトレーニングするものではない。 提案手法が全体的な予測誤差を低減できる理由を, 公式な根拠として提示する。
  論文  参考訳（メタデータ） (2023-12-27T03:43:38Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Improving the Trainability of Deep Neural Networks through Layerwise Batch-Entropy Regularization [1.3999481573773072]
  ニューラルネットワークの各層を通しての情報の流れを定量化するバッチエントロピーを導入,評価する。 損失関数にバッチエントロピー正規化項を追加するだけで、500層からなる「バニラ」完全連結ネットワークと畳み込みニューラルネットワークをトレーニングできることが示される。
  論文  参考訳（メタデータ） (2022-08-01T20:31:58Z)
• Increasing Depth of Neural Networks for Life-long Learning [2.0305676256390934]
  本稿では,ニューラルネットワークの深度増加に基づく連続学習手法を提案する。 この研究は、ニューラルネットワークの深さを延ばすことが、生涯にわたる学習環境で有益かどうかを探求する。
  論文  参考訳（メタデータ） (2022-02-22T11:21:41Z)
• Robust Transfer Learning with Pretrained Language Models through Adapters [40.45102278979193]
  BERTのような大きな事前訓練された言語モデルによる伝達学習は、ほとんどのNLPタスクにおいて支配的なアプローチとなっている。 これらの問題を緩和するために, 単純かつ効果的なアダプタベースのアプローチを提案する。 実験により,このような学習手法が,様々な下流タスクへの伝達学習における安定性と対角的堅牢性の向上につながることが示された。
  論文  参考訳（メタデータ） (2021-08-05T02:30:13Z)
• Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
  トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。 低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:57:51Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Using UNet and PSPNet to explore the reusability principle of CNN parameters [5.623232537411766]
  深層畳み込みニューラルネットワークの各層におけるパラメータの再利用性を実験的に定量化する。 平均値と分散の実行は、BN層におけるWeightやBiasよりも重要な役割を担います。 畳み込みレイヤのバイアスはセンシティブではなく、直接再利用することができる。
  論文  参考訳（メタデータ） (2020-08-08T01:51:08Z)
• Semantic Drift Compensation for Class-Incremental Learning [48.749630494026086]
  ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。 本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-04-01T13:31:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。