論文の概要: Guided Transfer Learning

• arxiv url: http://arxiv.org/abs/2303.16154v1
• Date: Sun, 26 Mar 2023 18:21:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 14:13:39.447599
• Title: Guided Transfer Learning
• Title（参考訳）: ガイド伝達学習
• Authors: Danko Nikoli\'c, Davor Andri\'c, Vjekoslav Nikoli\'c
• Abstract要約: 一部のアプリケーションでは、ガイド付き転送学習により、少量のデータからネットワークを学習することができる。 別のケースでは、パラメータの少ないネットワークがタスクを学習でき、そうでなければ大きなネットワークだけが学習できる。 ガイド転送学習は、データ量、モデルサイズ、計算資源の可用性が限界に達すると、多くのアプリケーションを持つ可能性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Machine learning requires exuberant amounts of data and computation. Also, models require equally excessive growth in the number of parameters. It is, therefore, sensible to look for technologies that reduce these demands on resources. Here, we propose an approach called guided transfer learning. Each weight and bias in the network has its own guiding parameter that indicates how much this parameter is allowed to change while learning a new task. Guiding parameters are learned during an initial scouting process. Guided transfer learning can result in a reduction in resources needed to train a network. In some applications, guided transfer learning enables the network to learn from a small amount of data. In other cases, a network with a smaller number of parameters can learn a task which otherwise only a larger network could learn. Guided transfer learning potentially has many applications when the amount of data, model size, or the availability of computational resources reach their limits.
• Abstract（参考訳）: 機械学習は大量のデータと計算を必要とする。 また、モデルにはパラメータの数が等しく過度に増加する必要がある。 したがって、資源に対するこれらの要求を減らす技術を探すのは賢明である。 本稿では,ガイド伝達学習という手法を提案する。 ネットワーク内の各重みとバイアスは、新しいタスクを学習しながら、このパラメータがどの程度変更できるかを示す独自の指針パラメータを持つ。 ガイドパラメータは、初期スカウトプロセス中に学習される。 ガイド付き転送学習は、ネットワークのトレーニングに必要なリソースの削減につながる可能性がある。 一部のアプリケーションでは、ガイド付き転送学習により、少量のデータからネットワークを学習することができる。 他のケースでは、パラメータが小さいネットワークはタスクを学習することができ、そうでなければ大きなネットワークだけが学習できる。 ガイド転送学習は、データ量、モデルサイズ、計算資源の可用性が限界に達すると、多くのアプリケーションを持つ可能性がある。

関連論文リスト

• Many or Few Samples? Comparing Transfer, Contrastive and Meta-Learning in Encrypted Traffic Classification [68.19713459228369]
  我々は、トランスファーラーニング、メタラーニング、コントラストラーニングを、参照機械学習(ML)ツリーベースおよびモノリシックDLモデルと比較する。 i) 大規模なデータセットを用いて,より一般的な表現を得られること,(ii) コントラスト学習が最良の手法であることを示している。 MLツリーベースでは大きなタスクは処理できないが、学習した表現を再利用することで、小さなタスクにも適合するが、DLメソッドはツリーベースモデルのパフォーマンスにも到達している。
  論文  参考訳（メタデータ） (2023-05-21T11:20:49Z)
• Task-Attentive Transformer Architecture for Continual Learning of Vision-and-Language Tasks Using Knowledge Distillation [18.345183818638475]
  連続学習(CL)は、逐次到着するタスク間で知識伝達を可能にすることで、治療の役割を果たす。 バイモーダル・ビジョン・アンド・ランゲージ・タスクを学習するためのトランスフォーマーベースのCLアーキテクチャを開発した。 私たちのアプローチは、メモリと時間のオーバーヘッドが少ないため、多数のタスクにスケーラブルに学習するものです。
  論文  参考訳（メタデータ） (2023-03-25T10:16:53Z)
• PIVOT: Prompting for Video Continual Learning [50.80141083993668]
  PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。 実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
  論文  参考訳（メタデータ） (2022-12-09T13:22:27Z)
• Continual Learning with Transformers for Image Classification [12.028617058465333]
  コンピュータビジョンでは、ニューラルネットワークモデルは、過去に何を学んだかを忘れずに、新しい概念を継続的に学習する。 本研究では,適応型適応器の蒸留法 (ADA) を開発した。 本手法は,モデルを再学習することなく,優れた予測性能を維持することを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-28T15:30:10Z)
• Training Deep Networks from Zero to Hero: avoiding pitfalls and going beyond [59.94347858883343]
  このチュートリアルでは、基本的なステップと、モデルを改善するためのより最近のオプションを取り上げている。 これは特に、課題のデータセットほど準備が不十分なデータセットで有用である。
  論文  参考訳（メタデータ） (2021-09-06T21:31:42Z)
• Fractional Transfer Learning for Deep Model-Based Reinforcement Learning [0.966840768820136]
  強化学習(Reinforcement Learning, RL)は、RLエージェントが複雑なタスクを実行することを学ぶために大量のデータを必要とすることで知られている。 モデルベースRLの最近の進歩により、エージェントはずっとデータ効率が良い。 簡単な代替手法として、分数変換学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T12:44:42Z)
• What is being transferred in transfer learning? [51.6991244438545]
  事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。 事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
  論文  参考訳（メタデータ） (2020-08-26T17:23:40Z)
• Exploring the Efficacy of Transfer Learning in Mining Image-Based Software Artifacts [1.5285292154680243]
  トランスファーラーニングにより、利用可能なデータの量に制限があっても、大量の学習パラメータを必要とするディープアーキテクチャをトレーニングすることができます。 本稿では,ソフトウェア図の分類問題に適用した非ソフトウェア工学データに基づいて事前学習したモデルを用いたトランスファーラーニングの適用可能性について検討する。
  論文  参考訳（メタデータ） (2020-03-03T16:41:45Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)
• Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation [111.44445634272235]
  本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。 PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。 我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
  論文  参考訳（メタデータ） (2020-01-13T14:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。