論文の概要: Many-Task Federated Fine-Tuning via Unified Task Vectors

• arxiv url: http://arxiv.org/abs/2502.06376v1
• Date: Mon, 10 Feb 2025 11:56:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:34:09.619103
• Title: Many-Task Federated Fine-Tuning via Unified Task Vectors
• Title（参考訳）: 統一タスクベクトルによる多タスクフェデレーションファインチューニング
• Authors: Vasileios Tsouvalas, Tanir Ozcelebi, Nirvana Meratnia,
• Abstract要約: many-Task FL (MaT-FL) が登場し、タスクの多様性にもかかわらずクライアントが効果的に協力できるようにする。 クライアント間でタスクベクトルを共同学習できるMaT-FLアプローチであるMaTUを提案する。 MaTUは最先端のMaT-FLアプローチよりも優れた性能を達成し、タスク毎の微調整に匹敵する結果を得た。
• 参考スコア（独自算出の注目度）: 3.004066195320147
• License:
• Abstract: Federated Learning (FL) traditionally assumes homogeneous client tasks; however, in real-world scenarios, clients often specialize in diverse tasks, introducing task heterogeneity. To address this challenge, Many-Task FL (MaT-FL) has emerged, enabling clients to collaborate effectively despite task diversity. Existing MaT-FL approaches rely on client grouping or personalized layers, requiring the server to manage individual models and failing to account for clients handling multiple tasks. We propose MaTU, a MaT-FL approach that enables joint learning of task vectors across clients, eliminating the need for clustering or client-specific weight storage at the server. Our method introduces a novel aggregation mechanism that determines task similarity based on the direction of clients task vectors and constructs a unified task vector encapsulating all tasks. To address task-specific requirements, we augment the unified task vector with lightweight modulators that facilitate knowledge transfer among related tasks while disentangling dissimilar ones. Evaluated across 30 datasets, MaTU achieves superior performance over state-of-the-art MaT-FL approaches, with results comparable to per-task fine-tuning, while delivering significant communication savings.
• Abstract（参考訳）: フェデレートラーニング(FL)は伝統的に均質なクライアントタスクを前提としているが、現実のシナリオでは、クライアントはタスクの不均一性を導入して、様々なタスクを専門とすることが多い。 この課題に対処するため、Multi-Task FL(MaT-FL)が登場し、タスクの多様性にもかかわらずクライアントが効果的に協力できるようになりました。 既存のMaT-FLアプローチは、クライアントのグループ化やパーソナライズされたレイヤに依存しており、サーバが個々のモデルを管理する必要があり、クライアントが複数のタスクを処理することを説明できない。 本稿では,クライアント間のタスクベクトルの協調学習を可能にするMaT-FLアプローチであるMaTUを提案し,サーバにおけるクラスタリングやクライアント固有の重み記憶の必要性を排除した。 提案手法では,クライアントタスクベクトルの方向に基づいてタスク類似性を決定する新しいアグリゲーション機構を導入し,全タスクをカプセル化する統一タスクベクトルを構築する。 タスク固有の要件に対処するため,異なるタスクを分離しながら,関連するタスク間の知識伝達を容易にする軽量な変調器でタスクベクトルを統一する。 30のデータセットで評価され、MaTUは最先端のMaT-FLアプローチよりも優れたパフォーマンスを実現している。

関連論文リスト

• Instruction-Driven Fusion of Infrared-Visible Images: Tailoring for Diverse Downstream Tasks [9.415977819944246]
  赤外線と可視光融合技術の主な価値は、下流のタスクに融合結果を適用することである。 既存の手法では、トレーニングの複雑さが増し、個々のタスクのパフォーマンスが著しく損なわれるといった課題に直面している。 本稿では,タスク指向適応制御(T-OAR)を提案する。
  論文  参考訳（メタデータ） (2024-11-14T12:02:01Z)
• Task-Aware Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [70.96345405979179]
  オフラインマルチタスク強化学習(MTRL)の目的は、オンライン環境相互作用を必要とせず、多様なタスクに適用可能な統一されたポリシーを開発することである。 タスクの内容と複雑さの変化は、政策の定式化において重大な課題を引き起こします。 本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。
  論文  参考訳（メタデータ） (2024-11-02T05:49:14Z)
• FL-TAC: Enhanced Fine-Tuning in Federated Learning via Low-Rank, Task-Specific Adapter Clustering [12.417857960556155]
  Federated Learning(FL)は,さまざまなタスクデータを備えた大規模クライアント間の微調整を可能にすることで,有望なソリューションを提供する。 本稿では,FLフレームワーク内の大規模事前学習モデルを低ランク微調整により微調整する際の通信コストについて述べる。
  論文  参考訳（メタデータ） (2024-04-23T10:50:38Z)
• Task Indicating Transformer for Task-conditional Dense Predictions [16.92067246179703]
  この課題に対処するために,タスク表示変換(TIT)と呼ばれる新しいタスク条件フレームワークを導入する。 本手法では,行列分解によるタスク指示行列を組み込んだMix Task Adapterモジュールをトランスフォーマーブロック内に設計する。 また,タスク表示ベクトルとゲーティング機構を利用するタスクゲートデコーダモジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-01T07:06:57Z)
• PEMT: Multi-Task Correlation Guided Mixture-of-Experts Enables Parameter-Efficient Transfer Learning [28.353530290015794]
  マルチタスク変換学習に基づくパラメータ効率の高いファインチューニングフレームワークPEMTを提案する。 我々は17のデータセットにまたがる幅広いタスクについて実験を行う。
  論文  参考訳（メタデータ） (2024-02-23T03:59:18Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• MmAP : Multi-modal Alignment Prompt for Cross-domain Multi-task Learning [29.88567810099265]
  マルチタスク学習は複数の相関タスクを同時に訓練するように設計されている。 この課題に対処するために、デコーダフリーの視覚言語モデルCLIPを統合する。 CLIPのためのマルチモーダルアライメント・プロンプト(MmAP)を提案する。
  論文  参考訳（メタデータ） (2023-12-14T03:33:02Z)
• Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
  専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。 単一モデルのトレーニング中に、このマッチングプロセスを最適化する。 13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2022-12-15T18:59:52Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。