論文の概要: Hub-Pathway: Transfer Learning from A Hub of Pre-trained Models

• arxiv url: http://arxiv.org/abs/2206.03726v1
• Date: Wed, 8 Jun 2022 08:00:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-09 23:19:24.358535
• Title: Hub-Pathway: Transfer Learning from A Hub of Pre-trained Models
• Title（参考訳）: hub-pathway: 事前学習されたモデルのハブからの転送学習
• Authors: Yang Shu, Zhangjie Cao, Ziyang Zhang, Jianmin Wang, Mingsheng Long
• Abstract要約: 本稿では,モデルハブからの知識伝達を可能にするハブパスウェイフレームワークを提案する。 提案するフレームワークは、目的のタスク固有の損失でエンドツーエンドにトレーニングすることができる。 コンピュータビジョンおよび強化学習タスクの実験結果は、このフレームワークが最先端のパフォーマンスを達成することを示す。
• 参考スコア（独自算出の注目度）: 89.44031286278347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer learning aims to leverage knowledge from pre-trained models to benefit the target task. Prior transfer learning work mainly transfers from a single model. However, with the emergence of deep models pre-trained from different resources, model hubs consisting of diverse models with various architectures, pre-trained datasets and learning paradigms are available. Directly applying single-model transfer learning methods to each model wastes the abundant knowledge of the model hub and suffers from high computational cost. In this paper, we propose a Hub-Pathway framework to enable knowledge transfer from a model hub. The framework generates data-dependent pathway weights, based on which we assign the pathway routes at the input level to decide which pre-trained models are activated and passed through, and then set the pathway aggregation at the output level to aggregate the knowledge from different models to make predictions. The proposed framework can be trained end-to-end with the target task-specific loss, where it learns to explore better pathway configurations and exploit the knowledge in pre-trained models for each target datum. We utilize a noisy pathway generator and design an exploration loss to further explore different pathways throughout the model hub. To fully exploit the knowledge in pre-trained models, each model is further trained by specific data that activate it, which ensures its performance and enhances knowledge transfer. Experiment results on computer vision and reinforcement learning tasks demonstrate that the proposed Hub-Pathway framework achieves the state-of-the-art performance for model hub transfer learning.
• Abstract（参考訳）: トランスファーラーニングは、トレーニング済みのモデルからの知識を活用して、目標とするタスクに役立てることを目的としている。 先行転送学習は主に1つのモデルからの転送である。 しかし、異なるリソースから事前学習された深層モデルが出現すると、さまざまなアーキテクチャを持つ多様なモデル、事前学習されたデータセット、学習パラダイムからなるモデルハブが利用可能になる。 各モデルに単一モデル転送学習手法を直接適用することは、モデルハブの豊富な知識を浪費し、高い計算コストに苦しむ。 本稿では,モデルハブからの知識伝達を可能にするハブパスウェイフレームワークを提案する。 このフレームワークはデータ依存経路重み付けを生成し、どの経路経路経路を入力レベルに割り当て、どの事前訓練されたモデルが活性化され、パスされるかを決定し、出力レベルに経路アグリゲーションを設定し、異なるモデルからの知識を集約して予測を行う。 提案されたフレームワークは、ターゲットのタスク固有の損失でエンドツーエンドでトレーニングでき、より良い経路構成を探索し、各ターゲットのデータムに対して事前訓練されたモデルの知識を活用できる。 ノイズの多い経路生成器を用いて、探索損失を設計し、モデルハブ全体を通して様々な経路を探索する。 事前訓練されたモデルの知識を十分に活用するために、各モデルはそれを活性化する特定のデータによってさらに訓練される。 コンピュータビジョンと強化学習タスクの実験結果から,提案するHub-Pathwayフレームワークが,モデルハブ転送学習の最先端性能を実現することを示す。

関連論文リスト

• MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities [72.68829963458408]
  異種モデルのパラメータ空間のギャップを埋めることを学ぶMergeNetを提案する。 MergeNetの中核となるメカニズムはパラメータアダプタにあり、ソースモデルの低ランクパラメータをクエリすることで動作する。 MergeNetは両方のモデルと共に学習され、我々のフレームワークは、現在のステージに関する知識を動的に転送し、適応することができます。
  論文  参考訳（メタデータ） (2024-04-20T08:34:39Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Deep Inverse Reinforcement Learning for Route Choice Modeling [0.6853165736531939]
  経路選択モデリングは交通計画と需要予測の基本的な課題である。 本研究では,リンクベース経路選択モデルのための一般的な逆強化学習(IRL)フレームワークを提案する。 中国上海のタクシーGPSデータに基づく実験結果から,提案モデルの性能改善を検証した。
  論文  参考訳（メタデータ） (2022-06-18T06:33:06Z)
• PAC-Net: A Model Pruning Approach to Inductive Transfer Learning [16.153557870191488]
  PAC-Netは、プルーニングに基づく伝達学習において、シンプルだが効果的なアプローチである。 PAC-NetはPrune、Allocate、Calibrateの3つのステップで構成されている。 様々な多種多様な帰納的伝達学習実験において,本手法は最先端の性能を高いマージンで達成することを示す。
  論文  参考訳（メタデータ） (2022-06-12T09:45:16Z)
• Minimax Lower Bounds for Transfer Learning with Linear and One-hidden Layer Neural Networks [27.44348371795822]
  転送学習の限界を特徴付けるための統計的ミニマックスフレームワークを開発する。 ラベル付きソース数とターゲットデータの関数として,任意のアルゴリズムで達成可能なターゲット一般化誤差に対して,低いバウンドを導出する。
  論文  参考訳（メタデータ） (2020-06-16T22:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。