論文の概要: Revisiting Permutation Symmetry for Merging Models between Different Datasets

• arxiv url: http://arxiv.org/abs/2306.05641v1
• Date: Fri, 9 Jun 2023 03:00:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 14:57:26.090856
• Title: Revisiting Permutation Symmetry for Merging Models between Different Datasets
• Title（参考訳）: 異なるデータセット間のマージモデルに対する置換対称性の再検討
• Authors: Masanori Yamada, Tomoya Yamashita, Shin'ya Yamaguchi, Daiki Chijiwa
• Abstract要約: 異なるデータセット間のマージモデルの特性について検討する。 その結果,統合モデルの精度は,データセットが多様化するにつれて著しく低下することがわかった。 データセットの縮合によって生成された縮合データセットは、元のデータセットの代用として使用できることを示す。
• 参考スコア（独自算出の注目度）: 3.234560001579257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model merging is a new approach to creating a new model by combining the weights of different trained models. Previous studies report that model merging works well for models trained on a single dataset with different random seeds, while model merging between different datasets is difficult. Merging knowledge from different datasets has practical significance, but it has not been well investigated. In this paper, we investigate the properties of merging models between different datasets. Through theoretical and empirical analyses, we find that the accuracy of the merged model decreases more significantly as the datasets diverge more and that the different loss landscapes for each dataset make model merging between different datasets difficult. We also show that merged models require datasets for merging in order to achieve a high accuracy. Furthermore, we show that condensed datasets created by dataset condensation can be used as substitutes for the original datasets when merging models. We conduct experiments for model merging between different datasets. When merging between MNIST and Fashion- MNIST models, the accuracy significantly improves by 28% using the dataset and 25% using the condensed dataset compared with not using the dataset.
• Abstract（参考訳）: モデルマージは、異なるトレーニングされたモデルの重みを組み合わせることで、新しいモデルを作成するための新しいアプローチである。 前回の研究では、モデルマージは、異なるランダムシードを持つ単一のデータセットでトレーニングされたモデルでうまく機能するが、異なるデータセット間でのモデルマージは困難である。 異なるデータセットからの知識の融合は、実際は重要であるが、十分に研究されていない。 本稿では,異なるデータセット間のマージモデルの特性について検討する。 理論的および実証的分析により,データセットの多様化に伴ってマージモデルの精度が著しく低下し,各データセットの損失景観が異なるため,異なるデータセット間のマージが困難になることが分かった。 また、マージモデルでは、精度を高めるためにマージのためのデータセットが必要であることも示している。 さらに,データセット凝縮によって作成された凝縮データセットを,マージモデルにおいて元のデータセットの代用として使用できることを示す。 異なるデータセット間のモデルマージ実験を行う。 MNISTとFashion-MNISTのモデルを統合すると、データセットを使用した場合の精度は28%向上し、データセットを使用していない場合には25%向上する。

関連論文リスト

• Knowledge is a Region in Weight Space for Fine-tuned Language Models [48.589822853418404]
  異なるモデルの重み空間と下層の損失景観が相互に相互に相互に相互に相互に相互に相互に関連しているかを検討する。 同じデータセットで微調整された言語モデルが重み空間で厳密なクラスタを形成し、同じタスクから異なるデータセットで微調整されたモデルがより緩いクラスタを形成することを示す。
  論文  参考訳（メタデータ） (2023-02-09T18:59:18Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Combining datasets to increase the number of samples and improve model fitting [7.4771091238795595]
  我々はImp(ComImp)に基づくコンバインドデータセットと呼ばれる新しいフレームワークを提案する。 さらに,PCA,PCA-ComImpを用いたComImpの変種を提案する。 提案手法は,より小さなデータセット上での予測モデルの精度を大幅に向上させることで,転送学習と幾らか類似していることが示唆された。
  論文  参考訳（メタデータ） (2022-10-11T06:06:37Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• A Case for Dataset Specific Profiling [0.9023847175654603]
  データ駆動科学は、科学的な発見が、リッチで規律固有のデータセットに対する計算AIモデルの実行に依存する、新興パラダイムである。 現代的な機械学習フレームワークを使用することで、誰でも科学的応用を可能にするデータに隠された概念を明らかにする計算モデルを開発し、実行することができる。 重要で広く使われているデータセットでは、データセットに対して実行できるすべての計算モデルのパフォーマンスを計算することは、クラウドリソースの点でコストを禁ずる。
  論文  参考訳（メタデータ） (2022-08-01T18:38:05Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)
• Learning to Model and Ignore Dataset Bias with Mixed Capacity Ensembles [66.15398165275926]
  本稿では,データセット固有のパターンを自動的に検出・無視する手法を提案する。 我々の方法は、より高い容量モデルでアンサンブルで低容量モデルを訓練する。 視覚的質問応答データセットの10ポイントゲインを含む,すべての設定の改善を示す。
  論文  参考訳（メタデータ） (2020-11-07T22:20:03Z)
• Mixed data Deep Gaussian Mixture Model: A clustering model for mixed datasets [0.0]
  我々はMixed Deep Gaussian Mixture Model (MDGMM)と呼ばれるモデルに基づくクラスタリング手法を提案する。 このアーキテクチャは柔軟性があり、連続データや非連続データにも適用できる。 我々のモデルはデータの連続的な低次元表現を提供し、混合データセットを視覚化するのに有用なツールである。
  論文  参考訳（メタデータ） (2020-10-13T19:52:46Z)
• Data from Model: Extracting Data from Non-robust and Robust Models [83.60161052867534]
  この研究は、データとモデルの関係を明らかにするために、モデルからデータを生成する逆プロセスについて検討する。 本稿では,データ・トゥ・モデル(DtM)とデータ・トゥ・モデル(DfM)を連続的に処理し,特徴マッピング情報の喪失について検討する。 以上の結果から,DtMとDfMの複数シーケンスの後にも,特にロバストモデルにおいて精度低下が制限されることが示唆された。
  論文  参考訳（メタデータ） (2020-07-13T05:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。