論文の概要: Model Recycling Framework for Multi-Source Data-Free Supervised Transfer Learning

• arxiv url: http://arxiv.org/abs/2508.02039v1
• Date: Mon, 04 Aug 2025 04:11:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.168502
• Title: Model Recycling Framework for Multi-Source Data-Free Supervised Transfer Learning
• Title（参考訳）: マルチソースデータフリー・スーパーバイザード・トランスファー学習のためのモデルリサイクルフレームワーク
• Authors: Sijia Wang, Ricardo Henao,
• Abstract要約: パラメータ効率のトレーニングモデルのためのモデルリサイクルフレームワークを提案する。 私たちのフレームワークは、モデル・アズ・ア・サービス(M)プロバイダが効率的な事前訓練済みモデルのライブラリを構築することを可能にする。
• 参考スコア（独自算出の注目度）: 21.316182796525702
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Increasing concerns for data privacy and other difficulties associated with retrieving source data for model training have created the need for source-free transfer learning, in which one only has access to pre-trained models instead of data from the original source domains. This setting introduces many challenges, as many existing transfer learning methods typically rely on access to source data, which limits their direct applicability to scenarios where source data is unavailable. Further, practical concerns make it more difficult, for instance efficiently selecting models for transfer without information on source data, and transferring without full access to the source models. So motivated, we propose a model recycling framework for parameter-efficient training of models that identifies subsets of related source models to reuse in both white-box and black-box settings. Consequently, our framework makes it possible for Model as a Service (MaaS) providers to build libraries of efficient pre-trained models, thus creating an opportunity for multi-source data-free supervised transfer learning.
• Abstract（参考訳）: データプライバシや、モデルトレーニングのためにソースデータを取得することに関連するその他の困難に対する懸念の高まりにより、ソースなしのトランスファー学習の必要性が生まれ、元のソースドメインのデータではなく、トレーニング済みのモデルにのみアクセスできるようになった。 この設定は、多くの既存のトランスファー学習メソッドが一般的にソースデータへのアクセスに依存しており、ソースデータが利用できないシナリオへの直接適用性を制限しているため、多くの課題をもたらしている。 さらに、実際の懸念は、例えば、ソースデータに関する情報を使わずに転送するモデルを効率的に選択し、ソースモデルに完全にアクセスせずに転送するといった、より困難になる。 そこで本研究では,ホワイトボックスとブラックボックスの両方の設定で再利用するために,関連するソースモデルのサブセットを識別するモデルのパラメータ効率訓練のためのモデルリサイクルフレームワークを提案する。 これにより、MaaSプロバイダは、効率的な事前訓練されたモデルのライブラリを構築することが可能となり、マルチソースのデータフリー教師ありトランスファー学習の機会が生まれる。

関連論文リスト

• Encapsulating Knowledge in One Prompt [56.31088116526825]
  KiOPは、元のモデルを変更したり、トレーニングデータにアクセスする必要なしに、さまざまなモデルからの知識を単独のプロンプトにカプセル化する。 実用性の観点から、このパラダイムは、データアクセス不能なコンテキストにおけるVisual Promptの有効性を証明している。 様々なデータセットとモデルを用いた実験は、提案したKiOP知識伝達パラダイムの有効性を示す。
  論文  参考訳（メタデータ） (2024-07-16T16:35:23Z)
• Update Selective Parameters: Federated Machine Unlearning Based on Model Explanation [46.86767774669831]
  モデル説明の概念に基づく、より効率的で効率的なフェデレーション・アンラーニング・スキームを提案する。 我々は、未学習のデータに対して、すでに訓練済みのモデルの中で最も影響力のあるチャネルを選択します。
  論文  参考訳（メタデータ） (2024-06-18T11:43:20Z)
• Cross-Domain Transfer Learning with CoRTe: Consistent and Reliable Transfer from Black-Box to Lightweight Segmentation Model [25.3403116022412]
  CoRTeは、ブラックボックスソースモデルから信頼できる知識を抽出する擬似ラベリング関数である。 我々は,2つの合成から現実の環境でCoRTeをベンチマークし,ブラックボックスモデルを用いて目標データ分布の軽量モデルにおける知識を伝達する際,顕著な結果を示した。
  論文  参考訳（メタデータ） (2024-02-20T16:35:14Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Hub-Pathway: Transfer Learning from A Hub of Pre-trained Models [89.44031286278347]
  本稿では,モデルハブからの知識伝達を可能にするハブパスウェイフレームワークを提案する。 提案するフレームワークは、目的のタスク固有の損失でエンドツーエンドにトレーニングすることができる。 コンピュータビジョンおよび強化学習タスクの実験結果は、このフレームワークが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-06-08T08:00:12Z)
• Deep Transfer Learning for Multi-source Entity Linkage via Domain Adaptation [63.24594955429465]
  マルチソースエンティティリンクは、データのクリーニングやユーザ縫合といった、高インパクトなアプリケーションにおいて重要である。 AdaMELは、多ソースエンティティリンクを実行するための一般的なハイレベルな知識を学ぶディープトランスファー学習フレームワークである。 本フレームワークは,教師付き学習に基づく平均的手法よりも8.21%向上した最先端の学習結果を実現する。
  論文  参考訳（メタデータ） (2021-10-27T15:20:41Z)
• Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
  我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。 生徒は、合成された入力データを通じて教師の出力を訓練する。 その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
  論文  参考訳（メタデータ） (2021-02-01T14:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。