論文の概要: GAN Cocktail: mixing GANs without dataset access
- arxiv url: http://arxiv.org/abs/2106.03847v1
- Date: Mon, 7 Jun 2021 17:59:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-08 18:20:33.213980
- Title: GAN Cocktail: mixing GANs without dataset access
- Title(参考訳): GAN Cocktail: データセットアクセスなしでGANを混合する
- Authors: Omri Avrahami, Dani Lischinski, Ohad Fried
- Abstract要約: 実世界でしばしば発生する2つの制約を考えると、モデルマージの問題に取り組みます。
第一段階では、モデルルートと呼ぶ手法により、全てのモデルの重みを同じパラメータ空間に変換する。
第2段階では、ルートモデルの重みを平均化し、元のトレーニングされたモデルによって生成されたデータのみを使用して、特定のドメイン毎に微調整することで、ルートモデルとマージする。
- 参考スコア(独自算出の注目度): 18.664733153082146
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Today's generative models are capable of synthesizing high-fidelity images,
but each model specializes on a specific target domain. This raises the need
for model merging: combining two or more pretrained generative models into a
single unified one. In this work we tackle the problem of model merging, given
two constraints that often come up in the real world: (1) no access to the
original training data, and (2) without increasing the size of the neural
network. To the best of our knowledge, model merging under these constraints
has not been studied thus far. We propose a novel, two-stage solution. In the
first stage, we transform the weights of all the models to the same parameter
space by a technique we term model rooting. In the second stage, we merge the
rooted models by averaging their weights and fine-tuning them for each specific
domain, using only data generated by the original trained models. We
demonstrate that our approach is superior to baseline methods and to existing
transfer learning techniques, and investigate several applications.
- Abstract(参考訳): 今日の生成モデルは高忠実度画像を合成できるが、それぞれのモデルは特定の対象領域に特化している。
これにより、2つ以上の事前訓練された生成モデルと1つの統一モデルを組み合わせるモデルマージの必要性が高まる。
本研究では,(1)トレーニングデータにアクセスできない,(2)ニューラルネットワークのサイズを増加させずに,実世界でしばしば生じる2つの制約を考慮し,モデルマージの問題に取り組む。
我々の知る限りでは、これらの制約の下でのモデルマージは今のところ研究されていない。
我々は新しい二段階解を提案する。
第一段階では、モデルルートと呼ぶ手法により、全てのモデルの重みを同じパラメータ空間に変換する。
第2段階では、元のトレーニングされたモデルによって生成されたデータのみを使用して、重みを平均化し、特定のドメインごとに微調整することで、ルート化されたモデルをマージします。
本手法は,ベースライン手法や既存のトランスファー学習手法よりも優れていることを実証し,いくつかの応用について検討する。
関連論文リスト
- Training-Free Pretrained Model Merging [40.437790895994766]
双対空間制約(MuDSC)の下でのマージという,革新的なモデルマージフレームワークを提案する。
ユーザビリティを高めるため,マルチヘッドアテンションやグループ正規化など,グループ構造への適応も取り入れた。
論文 参考訳(メタデータ) (2024-03-04T06:19:27Z) - Adapt & Align: Continual Learning with Generative Models Latent Space
Alignment [15.729732755625474]
本稿では、生成モデルにおける潜在表現を整列させることにより、ニューラルネットワークの連続的な学習方法であるAdapt & Alignを紹介する。
ニューラルネットワークは、追加データで再トレーニングされた場合、突然のパフォーマンスが低下する。
生成モデルを導入し,その更新過程を2つの部分に分割することで,これらの問題を緩和する手法を提案する。
論文 参考訳(メタデータ) (2023-12-21T10:02:17Z) - Merging by Matching Models in Task Subspaces [98.75848162153773]
モデルマージが方程式の線形系を解くとみなす方法が定式化される。
共役勾配法は閉形式解より優れていることを示す。
我々のフレームワークはマルチタスクモデルと中間タスクモデルの統合において最先端の結果を達成する。
論文 参考訳(メタデータ) (2023-12-07T14:59:15Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - Heterogeneous Federated Learning Using Knowledge Codistillation [23.895665011884102]
本稿では、プール全体における小さなモデルと、より高いキャパシティを持つクライアントのサブセットにおけるより大きなモデルをトレーニングする手法を提案する。
モデルは、パラメータを共有することなく、サーバ上のラベルなしデータセットを利用して、知識蒸留を介して情報を双方向に交換する。
論文 参考訳(メタデータ) (2023-10-04T03:17:26Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Guaranteed Conformance of Neurosymbolic Models to Natural Constraints [4.598757178874836]
安全クリティカルな応用においては、データ駆動モデルは自然科学の確立した知識に適合することが重要である。
我々はこの適合性を保証する方法を提案する。
拘束されたニューロシンボリックモデルが特定のモデルに適合していることを実験的に示す。
論文 参考訳(メタデータ) (2022-12-02T18:03:37Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳(メタデータ) (2022-10-11T10:20:31Z) - Deep transfer learning for improving single-EEG arousal detection [63.52264764099532]
2つのデータセットは、単一のEEGモデルでパフォーマンスが低下する原因となる、まったく同じ設定を含んでいない。
単チャンネル脳波データのためのアーキテクチャを構築するために,ベースラインモデルをトレーニングし,最初の2層を置き換える。
細調整戦略を用いて,本モデルはベースラインモデルと同等の性能を示し,同等の単一チャネルモデルよりも大幅に優れていた。
論文 参考訳(メタデータ) (2020-04-10T16:51:06Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳(メタデータ) (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。