論文の概要: Task Arithmetic Through The Lens Of One-Shot Federated Learning

• arxiv url: http://arxiv.org/abs/2411.18607v1
• Date: Wed, 27 Nov 2024 18:53:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:25:49.635558
• Title: Task Arithmetic Through The Lens Of One-Shot Federated Learning
• Title（参考訳）: ワンショットフェデレーション学習のレンズを通してのタスク算術
• Authors: Zhixu Tao, Ian Mason, Sanjeev Kulkarni, Xavier Boix,
• Abstract要約: Task Arithmeticは、複数のモデルの機能をひとつのモデルに組み合わせることを可能にするモデルマージ技術である。 タスク算術は、フェデレートラーニングにおいてよく使われるアルゴリズムと数学的に等価であることを示す。 フェデレーテッド・ラーニング(Federated Learning)のアルゴリズムを応用して,タスク算術の有効性を向上する。
• 参考スコア（独自算出の注目度）: 3.8230727103887943
• License:
• Abstract: Task Arithmetic is a model merging technique that enables the combination of multiple models' capabilities into a single model through simple arithmetic in the weight space, without the need for additional fine-tuning or access to the original training data. However, the factors that determine the success of Task Arithmetic remain unclear. In this paper, we examine Task Arithmetic for multi-task learning by framing it as a one-shot Federated Learning problem. We demonstrate that Task Arithmetic is mathematically equivalent to the commonly used algorithm in Federated Learning, called Federated Averaging (FedAvg). By leveraging well-established theoretical results from FedAvg, we identify two key factors that impact the performance of Task Arithmetic: data heterogeneity and training heterogeneity. To mitigate these challenges, we adapt several algorithms from Federated Learning to improve the effectiveness of Task Arithmetic. Our experiments demonstrate that applying these algorithms can often significantly boost performance of the merged model compared to the original Task Arithmetic approach. This work bridges Task Arithmetic and Federated Learning, offering new theoretical perspectives on Task Arithmetic and improved practical methodologies for model merging.
• Abstract（参考訳）: Task Arithmeticは、重み空間の単純な算術を通して、複数のモデルの能力を1つのモデルに組み合わせることができるモデルマージ技術である。 しかし,タスク算術の成功を決定する要因はいまだ不明である。 本稿では,マルチタスク学習におけるタスク算術を,単発のフェデレーション学習問題とみなして検討する。 フェデレート学習(Federated Averaging, FedAvg)と呼ばれる,フェデレート学習の一般的なアルゴリズムと数学的に等価であることを示す。 FedAvgの確立した理論結果を活用することで、タスク・アリストメティクスのパフォーマンスに影響を与える2つの重要な要因を同定する。 これらの課題を軽減するため、フェデレートラーニングのいくつかのアルゴリズムを適用し、タスク算術の有効性を改善する。 実験により,これらのアルゴリズムの適用は,従来のタスク算術手法と比較して,マージモデルの性能を著しく向上させることができることが示された。 この研究はタスク算術とフェデレートラーニングを橋渡し、タスク算術に関する新たな理論的視点を提供し、モデルマージの実践的方法論を改善した。

関連論文リスト

• MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
  textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。 提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
  論文  参考訳（メタデータ） (2024-06-17T10:12:45Z)
• Reverse That Number! Decoding Order Matters in Arithmetic Learning [49.5504492920404]
  本研究は,最少の桁から出力を優先順位付けすることで,桁順を再評価する新たな戦略を導入する。 従来のSOTA法と比較すると,通常のトレーニングで使用するトークンの3分の1しか必要とせず,精度の全体的な改善が見られた。
  論文  参考訳（メタデータ） (2024-03-09T09:04:53Z)
• Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained Models [96.9373147383119]
  重みの絡み合いがタスク算術を効果的にするための重要な要素であることを示す。 それらの接空間における微調整モデルを線形化することにより、重みの絡み合いを増幅することを示した。 これにより、タスク演算ベンチマークや多種多様なモデルで大幅にパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-05-22T08:39:25Z)
• Multi-Task Learning with Prior Information [5.770309971945476]
  本稿では,機能間の関係に関する事前知識を利用するマルチタスク学習フレームワークを提案する。 また、各特徴に対して変化する係数に対してペナルティを課し、それらの共通する特徴に類似した係数を持つことを保証します。
  論文  参考訳（メタデータ） (2023-01-04T12:48:05Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Robust Unsupervised Multi-task and Transfer Learning on Gaussian Mixture Models [13.07916598175886]
  GMMにおけるマルチタスク学習問題について検討する。 本稿では,EMアルゴリズムに基づくマルチタスクGMM学習手法を提案する。 我々はGMMにおける伝達学習の課題に取り組むためのアプローチを一般化する。
  論文  参考訳（メタデータ） (2022-09-30T04:35:12Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。