論文の概要: Model Reuse with Reduced Kernel Mean Embedding Specification

• arxiv url: http://arxiv.org/abs/2001.07135v1
• Date: Mon, 20 Jan 2020 15:15:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-08 05:03:45.502050
• Title: Model Reuse with Reduced Kernel Mean Embedding Specification
• Title（参考訳）: カーネル平均埋め込み仕様の削減によるモデル再利用
• Authors: Xi-Zhu Wu, Wenkai Xu, Song Liu, and Zhi-Hua Zhou
• Abstract要約: 現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。 アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。 デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
• 参考スコア（独自算出の注目度）: 70.044322798187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a publicly available pool of machine learning models constructed for various tasks, when a user plans to build a model for her own machine learning application, is it possible to build upon models in the pool such that the previous efforts on these existing models can be reused rather than starting from scratch? Here, a grand challenge is how to find models that are helpful for the current application, without accessing the raw training data for the models in the pool. In this paper, we present a two-phase framework. In the upload phase, when a model is uploading into the pool, we construct a reduced kernel mean embedding (RKME) as a specification for the model. Then in the deployment phase, the relatedness of the current task and pre-trained models will be measured based on the value of the RKME specification. Theoretical results and extensive experiments validate the effectiveness of our approach.
• Abstract（参考訳）: さまざまなタスク用に構築された機械学習モデルの公開プールを考えると、ユーザが自身の機械学習アプリケーション用にモデルを構築する計画がある場合、既存のモデルに対する以前の取り組みをスクラッチからではなく再利用できるように、プール内のモデルを構築することは可能か? ここでの大きな課題は、プール内のモデルの生のトレーニングデータにアクセスすることなく、現在のアプリケーションに役立つモデルを見つける方法です。 本稿では,二段階の枠組みを提案する。 アップロードフェーズでは、モデルがプールにアップロードされるとき、モデルの仕様として還元されたカーネル平均埋め込み(rkme)を構築します。 次に、展開段階では、rkme仕様の値に基づいて、現在のタスクと事前学習済みモデルの関連度を測定する。 理論的結果と広範な実験により,本手法の有効性が検証された。

関連論文リスト

• WAVE: Weight Template for Adaptive Initialization of Variable-sized Models [37.97945436202779]
  WAVEは、様々な深さと幅のモデルを初期化する際に、最先端の性能を達成する。 WAVEは、一連のデータセット間で最も効率的な知識伝達を同時に達成する。
  論文  参考訳（メタデータ） (2024-06-25T12:43:33Z)
• Data Shapley in One Training Run [88.59484417202454]
  Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。 既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。 本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
  論文  参考訳（メタデータ） (2024-06-16T17:09:24Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• MGE: A Training-Free and Efficient Model Generation and Enhancement Scheme [10.48591131837771]
  本稿では,MGE(Merning-free and Efficient Model Generation and Enhancement Scheme)を提案する。 モデル生成プロセスにおいて、モデルパラメータの分布とモデルパフォーマンスの2つの側面を考慮する。 実験の結果、生成したモデルは通常の訓練によって得られたモデルに匹敵し、場合によっては優れていることが示された。
  論文  参考訳（メタデータ） (2024-02-27T13:12:00Z)
• ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model Reuse [59.500060790983994]
  本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。 ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
  論文  参考訳（メタデータ） (2023-08-17T19:12:13Z)
• Matching Pairs: Attributing Fine-Tuned Models to their Pre-Trained Large Language Models [11.57282859281814]
  異なる知識レベルと属性戦略を考慮し、最良の方法で10の微調整されたモデルのうち8つを正確に追跡できることに気付きます。
  論文  参考訳（メタデータ） (2023-06-15T17:42:48Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Assemble Foundation Models for Automatic Code Summarization [9.53949558569201]
  ニューラルネットワークに基づく自動コード要約のためのフレキシブルでロバストなアプローチを提案する。 CodeBERT や GPT-2 のような利用可能な基盤モデルを AdaMo という単一のモデルに組み立てる。 本稿では,知識伝達の観点から,連続事前学習と中間微調整という2つの適応型スキームを導入する。
  論文  参考訳（メタデータ） (2022-01-13T21:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。