論文の概要: Model Reuse with Reduced Kernel Mean Embedding Specification
- arxiv url: http://arxiv.org/abs/2001.07135v1
- Date: Mon, 20 Jan 2020 15:15:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-08 05:03:45.502050
- Title: Model Reuse with Reduced Kernel Mean Embedding Specification
- Title(参考訳): カーネル平均埋め込み仕様の削減によるモデル再利用
- Authors: Xi-Zhu Wu, Wenkai Xu, Song Liu, and Zhi-Hua Zhou
- Abstract要約: 現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。
アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。
デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
- 参考スコア(独自算出の注目度): 70.044322798187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given a publicly available pool of machine learning models constructed for
various tasks, when a user plans to build a model for her own machine learning
application, is it possible to build upon models in the pool such that the
previous efforts on these existing models can be reused rather than starting
from scratch? Here, a grand challenge is how to find models that are helpful
for the current application, without accessing the raw training data for the
models in the pool. In this paper, we present a two-phase framework. In the
upload phase, when a model is uploading into the pool, we construct a reduced
kernel mean embedding (RKME) as a specification for the model. Then in the
deployment phase, the relatedness of the current task and pre-trained models
will be measured based on the value of the RKME specification. Theoretical
results and extensive experiments validate the effectiveness of our approach.
- Abstract(参考訳): さまざまなタスク用に構築された機械学習モデルの公開プールを考えると、ユーザが自身の機械学習アプリケーション用にモデルを構築する計画がある場合、既存のモデルに対する以前の取り組みをスクラッチからではなく再利用できるように、プール内のモデルを構築することは可能か?
ここでの大きな課題は、プール内のモデルの生のトレーニングデータにアクセスすることなく、現在のアプリケーションに役立つモデルを見つける方法です。
本稿では,二段階の枠組みを提案する。
アップロードフェーズでは、モデルがプールにアップロードされるとき、モデルの仕様として還元されたカーネル平均埋め込み(rkme)を構築します。
次に、展開段階では、rkme仕様の値に基づいて、現在のタスクと事前学習済みモデルの関連度を測定する。
理論的結果と広範な実験により,本手法の有効性が検証された。
関連論文リスト
- MGE: A Training-Free and Efficient Model Generation and Enhancement
Scheme [10.48591131837771]
本稿では,MGE(Merning-free and Efficient Model Generation and Enhancement Scheme)を提案する。
モデル生成プロセスにおいて、モデルパラメータの分布とモデルパフォーマンスの2つの側面を考慮する。
実験の結果、生成したモデルは通常の訓練によって得られたモデルに匹敵し、場合によっては優れていることが示された。
論文 参考訳(メタデータ) (2024-02-27T13:12:00Z) - A Framework for Monitoring and Retraining Language Models in Real-World
Applications [3.566775910781198]
多くの現実世界のアプリケーションでは、継続的モデル監視とモデル再トレーニングが必要になります。
データやコンセプトドリフトなどの再トレーニングにはさまざまな理由があり、適切なメトリックによって監視されるモデルのパフォーマンスに反映される可能性がある。
マルチラベル分類モデルを用いて, モデル性能や資源利用などの重要な要因に対する各種リトレーニング決定点の影響について検討する。
論文 参考訳(メタデータ) (2023-11-16T14:32:18Z) - ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model
Reuse [59.500060790983994]
本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。
ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
論文 参考訳(メタデータ) (2023-08-17T19:12:13Z) - Matching Pairs: Attributing Fine-Tuned Models to their Pre-Trained Large
Language Models [11.57282859281814]
異なる知識レベルと属性戦略を考慮し、最良の方法で10の微調整されたモデルのうち8つを正確に追跡できることに気付きます。
論文 参考訳(メタデータ) (2023-06-15T17:42:48Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z) - Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。
しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。
これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
論文 参考訳(メタデータ) (2023-04-05T07:28:33Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。
リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。
モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
論文 参考訳(メタデータ) (2022-02-22T02:33:54Z) - Assemble Foundation Models for Automatic Code Summarization [9.53949558569201]
ニューラルネットワークに基づく自動コード要約のためのフレキシブルでロバストなアプローチを提案する。
CodeBERT や GPT-2 のような利用可能な基盤モデルを AdaMo という単一のモデルに組み立てる。
本稿では,知識伝達の観点から,連続事前学習と中間微調整という2つの適応型スキームを導入する。
論文 参考訳(メタデータ) (2022-01-13T21:38:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。