論文の概要: GAN Cocktail: mixing GANs without dataset access

• arxiv url: http://arxiv.org/abs/2106.03847v1
• Date: Mon, 7 Jun 2021 17:59:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 18:20:33.213980
• Title: GAN Cocktail: mixing GANs without dataset access
• Title（参考訳）: GAN Cocktail: データセットアクセスなしでGANを混合する
• Authors: Omri Avrahami, Dani Lischinski, Ohad Fried
• Abstract要約: 実世界でしばしば発生する2つの制約を考えると、モデルマージの問題に取り組みます。 第一段階では、モデルルートと呼ぶ手法により、全てのモデルの重みを同じパラメータ空間に変換する。 第2段階では、ルートモデルの重みを平均化し、元のトレーニングされたモデルによって生成されたデータのみを使用して、特定のドメイン毎に微調整することで、ルートモデルとマージする。
• 参考スコア（独自算出の注目度）: 18.664733153082146
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Today's generative models are capable of synthesizing high-fidelity images, but each model specializes on a specific target domain. This raises the need for model merging: combining two or more pretrained generative models into a single unified one. In this work we tackle the problem of model merging, given two constraints that often come up in the real world: (1) no access to the original training data, and (2) without increasing the size of the neural network. To the best of our knowledge, model merging under these constraints has not been studied thus far. We propose a novel, two-stage solution. In the first stage, we transform the weights of all the models to the same parameter space by a technique we term model rooting. In the second stage, we merge the rooted models by averaging their weights and fine-tuning them for each specific domain, using only data generated by the original trained models. We demonstrate that our approach is superior to baseline methods and to existing transfer learning techniques, and investigate several applications.
• Abstract（参考訳）: 今日の生成モデルは高忠実度画像を合成できるが、それぞれのモデルは特定の対象領域に特化している。 これにより、2つ以上の事前訓練された生成モデルと1つの統一モデルを組み合わせるモデルマージの必要性が高まる。 本研究では,(1)トレーニングデータにアクセスできない,(2)ニューラルネットワークのサイズを増加させずに,実世界でしばしば生じる2つの制約を考慮し,モデルマージの問題に取り組む。 我々の知る限りでは、これらの制約の下でのモデルマージは今のところ研究されていない。 我々は新しい二段階解を提案する。 第一段階では、モデルルートと呼ぶ手法により、全てのモデルの重みを同じパラメータ空間に変換する。 第2段階では、元のトレーニングされたモデルによって生成されたデータのみを使用して、重みを平均化し、特定のドメインごとに微調整することで、ルート化されたモデルをマージします。 本手法は,ベースライン手法や既存のトランスファー学習手法よりも優れていることを実証し,いくつかの応用について検討する。

関連論文リスト

• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• Training-Free Model Merging for Multi-target Domain Adaptation [6.00960357022946]
  シーン理解モデルのマルチターゲット領域適応について検討する。 私たちのソリューションはモデルパラメータのマージとモデルバッファのマージという2つのコンポーネントで構成されています。 我々の手法は単純だが有効であり、データ組み合わせトレーニングベースラインと同等の性能を達成できる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:57Z)
• PLeaS -- Merging Models with Permutations and Least Squares [43.17620198572947]
  モデル決定型PLeaSをマージする2段階のアルゴリズムを提案する。 PLeaSはアライメントを最大化することで各層のノードに部分的にマッチする。 マージされたモデルの重みをレイヤワイズ・リースト・スクエアの解として計算する。
  論文  参考訳（メタデータ） (2024-07-02T17:24:04Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Adapt & Align: Continual Learning with Generative Models Latent Space Alignment [15.729732755625474]
  本稿では、生成モデルにおける潜在表現を整列させることにより、ニューラルネットワークの連続的な学習方法であるAdapt & Alignを紹介する。 ニューラルネットワークは、追加データで再トレーニングされた場合、突然のパフォーマンスが低下する。 生成モデルを導入し,その更新過程を2つの部分に分割することで,これらの問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-21T10:02:17Z)
• Heterogeneous Federated Learning Using Knowledge Codistillation [23.895665011884102]
  本稿では、プール全体における小さなモデルと、より高いキャパシティを持つクライアントのサブセットにおけるより大きなモデルをトレーニングする手法を提案する。 モデルは、パラメータを共有することなく、サーバ上のラベルなしデータセットを利用して、知識蒸留を介して情報を双方向に交換する。
  論文  参考訳（メタデータ） (2023-10-04T03:17:26Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。