論文の概要: Towards Efficient Task-Driven Model Reprogramming with Foundation Models

• arxiv url: http://arxiv.org/abs/2304.02263v2
• Date: Sat, 6 May 2023 08:57:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 20:48:04.291651
• Title: Towards Efficient Task-Driven Model Reprogramming with Foundation Models
• Title（参考訳）: 基礎モデルを用いた効率的なタスク駆動モデル再プログラミングに向けて
• Authors: Shoukai Xu, Jiangchao Yao, Ran Luo, Shuhai Zhang, Zihao Lian, Mingkui Tan, Bo Han, Yaowei Wang
• Abstract要約: ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
• 参考スコア（独自算出の注目度）: 52.411508216448716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision foundation models exhibit impressive power, benefiting from the extremely large model capacity and broad training data. However, in practice, downstream scenarios may only support a small model due to the limited computational resources or efficiency considerations. Moreover, the data used for pretraining foundation models are usually invisible and very different from the target data of downstream tasks. This brings a critical challenge for the real-world application of foundation models: one has to transfer the knowledge of a foundation model to the downstream task that has a quite different architecture with only downstream target data. Existing transfer learning or knowledge distillation methods depend on either the same model structure or finetuning of the foundation model. Thus, naively introducing these methods can be either infeasible or very inefficient. To address this, we propose a Task-Driven Model Reprogramming (TDMR) framework. Specifically, we reprogram the foundation model to project the knowledge into a proxy space, which alleviates the adverse effect of task mismatch and domain inconsistency. Then, we reprogram the target model via progressive distillation from the proxy space to efficiently learn the knowledge from the reprogrammed foundation model. TDMR is compatible with different pre-trained model types (CNN, transformer or their mix) and limited target data, and promotes the wide applications of vision foundation models to downstream tasks in a cost-effective manner. Extensive experiments on different downstream classification tasks and target model structures demonstrate the effectiveness of our methods with both CNNs and transformer foundation models.
• Abstract（参考訳）: vision foundationモデルには、非常に大きなモデルキャパシティと幅広いトレーニングデータによるメリットがある。 しかし、実際には、下流のシナリオは限られた計算資源や効率を考慮した小さなモデルしかサポートしない。 さらに、基礎モデルの事前学習に使用されるデータは、通常見えず、下流タスクのターゲットデータと非常に異なる。 基盤モデルの知識を、下流のターゲットデータだけでまったく異なるアーキテクチャを持つ下流のタスクに転送する必要があります。 既存の転写学習や知識蒸留の方法は、同じモデル構造か基礎モデルの微調整に依存する。 したがって、これらの方法を導入することは、実現不可能または非常に非効率である。 そこで我々はタスク駆動モデル再プログラミング(tdmr)フレームワークを提案する。 具体的には、知識をプロキシ空間に投影するために基礎モデルを再構成し、タスクミスマッチとドメインの不整合の悪影響を軽減する。 次に,対象モデルをプログレッシブ蒸留によりプロキシ空間から再プログラムし,再プログラムされた基礎モデルから知識を効率的に学習する。 TDMRは、様々な事前訓練されたモデルタイプ(CNN、トランスフォーマーまたはそれらの混合)と限られたターゲットデータと互換性があり、視覚基盤モデルの幅広い応用を低コストでダウンストリームタスクに促進する。 異なる下流分類タスクとターゲットモデル構造に関する広範囲な実験により,cnnとtransformer foundationモデルの両方を用いた提案手法の有効性が実証された。

関連論文リスト

• Reprogramming Distillation for Medical Foundation Models [37.52464627899668]
  我々はリプログラミング蒸留(RD)と呼ばれる新しいフレームワークを提案する。 RDはファンデーションモデルの本来の機能空間を再プログラミングし、下流のシナリオとより関係があるようにします。 RDは従来のPEFT法やKD法よりも優れた性能を実現している。
  論文  参考訳（メタデータ） (2024-07-09T02:17:51Z)
• The Role of Model Architecture and Scale in Predicting Molecular Properties: Insights from Fine-Tuning RoBERTa, BART, and LLaMA [0.0]
  本研究では,各種ケミノフォマティクスタスクの微調整におけるLarge Language Models(LLMs)の有効性を比較するための体系的枠組みを提案する。 分子特性を予測するために,RoBERTa,BART,LLaMAの3つのモデルを評価した。 LLaMAベースのモデルは、一般的に最低限のバリデーション損失を提供しており、タスクやスケールの順応性が優れていることを示唆している。
  論文  参考訳（メタデータ） (2024-05-02T02:20:12Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
  そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。 タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
  論文  参考訳（メタデータ） (2022-04-03T02:29:11Z)
• Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
  視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。 リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。 モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
  論文  参考訳（メタデータ） (2022-02-22T02:33:54Z)
• Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
  学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。 本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。 提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T16:42:59Z)
• Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
  現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。 アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。 デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
  論文  参考訳（メタデータ） (2020-01-20T15:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。