論文の概要: Training-Free Model Merging for Multi-target Domain Adaptation

• arxiv url: http://arxiv.org/abs/2407.13771v1
• Date: Thu, 18 Jul 2024 17:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 14:12:02.251856
• Title: Training-Free Model Merging for Multi-target Domain Adaptation
• Title（参考訳）: マルチターゲットドメイン適応のための学習自由モデルマージ
• Authors: Wenyi Li, Huan-ang Gao, Mingju Gao, Beiwen Tian, Rong Zhi, Hao Zhao,
• Abstract要約: シーン理解モデルのマルチターゲット領域適応について検討する。 私たちのソリューションはモデルパラメータのマージとモデルバッファのマージという2つのコンポーネントで構成されています。 我々の手法は単純だが有効であり、データ組み合わせトレーニングベースラインと同等の性能を達成できる。
• 参考スコア（独自算出の注目度）: 6.00960357022946
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study multi-target domain adaptation of scene understanding models. While previous methods achieved commendable results through inter-domain consistency losses, they often assumed unrealistic simultaneous access to images from all target domains, overlooking constraints such as data transfer bandwidth limitations and data privacy concerns. Given these challenges, we pose the question: How to merge models adapted independently on distinct domains while bypassing the need for direct access to training data? Our solution to this problem involves two components, merging model parameters and merging model buffers (i.e., normalization layer statistics). For merging model parameters, empirical analyses of mode connectivity surprisingly reveal that linear merging suffices when employing the same pretrained backbone weights for adapting separate models. For merging model buffers, we model the real-world distribution with a Gaussian prior and estimate new statistics from the buffers of separately trained models. Our method is simple yet effective, achieving comparable performance with data combination training baselines, while eliminating the need for accessing training data. Project page: https://air-discover.github.io/ModelMerging
• Abstract（参考訳）: 本稿では,シーン理解モデルのマルチターゲット領域適応について検討する。 従来の手法はドメイン間の整合性を失うことで圧縮可能な結果を得たが、多くの場合、データ転送帯域幅の制限やデータプライバシの懸念といった制約を見越して、すべてのドメインからのイメージへの非現実的な同時アクセスを前提としていた。 トレーニングデータに直接アクセスする必要を回避しながら、異なるドメインに独立して適応したモデルをマージする方法? この問題に対する我々の解決策は、モデルパラメータをマージする2つのコンポーネントとモデルバッファをマージする(すなわち正規化層統計量)ことである。 モデルパラメータをマージする場合、モード接続性の実験的解析により、異なるモデルに適応するために、同じ事前訓練されたバックボーン重みを用いる場合、線形マージサフィスを驚くほど明らかにする。 モデルバッファをマージするためには、ガウス先行モデルを用いて実世界の分布をモデル化し、個別に訓練されたモデルのバッファから新しい統計を推定する。 本手法は単純かつ効果的であり,データ組み合わせトレーニングベースラインと同等の性能を実現すると同時に,トレーニングデータへのアクセスも不要である。 プロジェクトページ: https://air-discover.github.io/ModelMerging

関連論文リスト

• Self-calibration for Language Model Quantization and Pruning [38.00221764773372]
  量子化とプルーニングはモデル圧縮の基本的なアプローチである。 トレーニング後の環境では、最先端の量子化とプルーニングの方法はキャリブレーションデータを必要とする。 自己校正を解決策として提案する。
  論文  参考訳（メタデータ） (2024-10-22T16:50:00Z)
• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• Harmony in Diversity: Merging Neural Networks with Canonical Correlation Analysis [17.989809995141044]
  相関解析に基づくCCAマージを提案する。 2モデル以上のモデルがマージされた場合、CCAは過去の方法よりもはるかにうまく機能することを示す。
  論文  参考訳（メタデータ） (2024-07-07T14:21:04Z)
• PLeaS -- Merging Models with Permutations and Least Squares [43.17620198572947]
  モデル決定型PLeaSをマージする2段階のアルゴリズムを提案する。 PLeaSはアライメントを最大化することで各層のノードに部分的にマッチする。 マージされたモデルの重みをレイヤワイズ・リースト・スクエアの解として計算する。
  論文  参考訳（メタデータ） (2024-07-02T17:24:04Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• On-the-Fly Test-time Adaptation for Medical Image Segmentation [63.476899335138164]
  ソースモデルをテスト時にターゲットデータに適応させることは、データシフト問題に対する効率的な解決策である。 本稿では、各畳み込みブロックに適応バッチ正規化層を設けるAdaptive UNetという新しいフレームワークを提案する。 テスト期間中、モデルは新しいテストイメージのみを取り込み、ドメインコードを生成して、テストデータに従ってソースモデルの特徴を適応させる。
  論文  参考訳（メタデータ） (2022-03-10T18:51:29Z)
• GAN Cocktail: mixing GANs without dataset access [18.664733153082146]
  実世界でしばしば発生する2つの制約を考えると、モデルマージの問題に取り組みます。 第一段階では、モデルルートと呼ぶ手法により、全てのモデルの重みを同じパラメータ空間に変換する。 第2段階では、ルートモデルの重みを平均化し、元のトレーニングされたモデルによって生成されたデータのみを使用して、特定のドメイン毎に微調整することで、ルートモデルとマージする。
  論文  参考訳（メタデータ） (2021-06-07T17:59:04Z)
• Variational Bayesian Unlearning [54.26984662139516]
  本研究では, ベイズモデルの学習を, 消去する訓練データの小さな部分集合から, ほぼ非学習する問題について検討する。 消去されたデータから完全に学習されていないデータと、過去の信念を完全に忘れていないデータとをトレードオフする証拠を最小化するのと等価であることを示す。 VI を用いたモデルトレーニングでは、完全なデータから近似した(正確には)後続の信念しか得られず、未学習をさらに困難にしている。
  論文  参考訳（メタデータ） (2020-10-24T11:53:00Z)
• Unsupervised Intra-domain Adaptation for Semantic Segmentation through Self-Supervision [73.76277367528657]
  畳み込みニューラルネットワークに基づくアプローチは、セマンティックセグメンテーションにおいて顕著な進歩を遂げた。 この制限に対処するために、グラフィックエンジンから生成された注釈付きデータを使用してセグメンテーションモデルをトレーニングする。 ドメイン間およびドメイン間ギャップを最小化する2段階の自己教師付きドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2020-04-16T15:24:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。