論文の概要: Collaborative and Efficient Fine-tuning: Leveraging Task Similarity

• arxiv url: http://arxiv.org/abs/2602.07218v1
• Date: Fri, 06 Feb 2026 21:59:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.51361
• Title: Collaborative and Efficient Fine-tuning: Leveraging Task Similarity
• Title（参考訳）: 協調的かつ効率的な微調整:タスク類似性を活用する
• Authors: Gagik Magakyan, Amirhossein Reisizadeh, Chanwoo Park, Pablo A. Parrilo, Asuman Ozdaglar,
• Abstract要約: CoLoRA(Collaborative Low-Rank Adaptation)は、協調的かつ効率的に微調整されたファンデーションモデルに類似したタスクを利用する。 理論的には、CoLoRAを不均一線形回帰について研究し、真理回復のための証明可能な保証を提供する。
• 参考スコア（独自算出の注目度）: 11.300986538076979
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Adaptability has been regarded as a central feature in the foundation models, enabling them to effectively acclimate to unseen downstream tasks. Parameter-efficient fine-tuning methods such as celebrated LoRA facilitate efficient adaptation of large foundation models using labeled, high-quality and generally scarce task data. To mitigate data scarcity in fine-tuning of foundation models, we propose to leverage task similarity across multiple downstream users. Intuitively, users with similar tasks must be able to assist each other in boosting the effective fine-tuning data size. We propose Collaborative Low-Rank Adaptation, or CoLoRA, which exploits task similarity to collaboratively and efficiently fine-tune personalized foundation models. The main idea in CoLoRA is to train one shared adapter capturing underlying task similarities across all tasks, and personalized adapters tailored to user-specific tasks. We theoretically study CoLoRA on heterogeneous linear regression and provide provable guarantees for ground truth recovery. We also conduct several natural language experiments with varying task similarity, which further demonstrate that when trained together with similar tasks, individual performances are significantly boosted.
• Abstract（参考訳）: 適応性は基礎モデルにおいて中心的な特徴と見なされ、下流のタスクを効果的に把握することができる。 LoRAのようなパラメータ効率のよい微調整手法は、ラベル付き、高品質で、一般に不足しているタスクデータを用いて、大規模な基礎モデルの効率的な適応を容易にする。 基礎モデルの微調整におけるデータ不足を軽減するため,複数の下流ユーザ間でのタスク類似性を活用することを提案する。 直感的には、類似したタスクを持つユーザは、効果的な微調整データサイズを向上するために互いに助け合わなければならない。 コラボレーティブ・ローランド適応(Collaborative Low-Rank Adaptation, CoLoRA)を提案する。 CoLoRAの主なアイデアは、すべてのタスクに共通するタスクをキャプチャする1つの共有アダプタと、ユーザ固有のタスクに合わせたパーソナライズされたアダプタをトレーニングすることだ。 理論的には、CoLoRAを不均一線形回帰について研究し、真理回復のための証明可能な保証を提供する。 また、様々なタスク類似性を持つ自然言語実験も実施し、同様のタスクでトレーニングを行うと、個々のパフォーマンスが大幅に向上することを示した。

関連論文リスト

• RobustMerge: Parameter-Efficient Model Merging for MLLMs with Direction Robustness [28.437105789298244]
  RobustMergeは、方向ロバスト性を維持するために相補的なパラメータ適応を備えたトレーニング不要なパラメータ効率のマージ手法である。 多様なマルチモーダルタスクからなるベンチマークを構築し,本手法の卓越した性能と一般化性を証明する実験を行った。
  論文  参考訳（メタデータ） (2025-02-24T13:52:05Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• SyMerge: From Non-Interference to Synergistic Merging via Single-Layer Adaptation [28.417947631789783]
  SyMergeは1つのタスク固有のレイヤとマージ係数を共同で最適化する軽量フレームワークである。 SyMergeは、ビジョン、密度予測、NLPベンチマークを越えて最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-12-26T07:42:06Z)
• Collaborative and Efficient Personalization with Mixtures of Adaptors [5.195669033269619]
  Federated Low-Rank Adaptive Learning (FLoRAL)は、低ランクのアダプタを混在させることで、クライアントがグループをパーソナライズすることを可能にする。 FLoRALは、パーソナライズされたフェデレーション学習をマルチタスク学習問題として活用するモデルパラメータ化である。
  論文  参考訳（メタデータ） (2024-10-04T15:11:15Z)
• Dual-Personalizing Adapter for Federated Foundation Models [35.863585349109385]
  本稿では,テスト時間分布シフトを同時に処理するフェデレートデュアルパーソナライズアダプタアーキテクチャを提案する。 提案手法の有効性を,異なるNLPタスクのベンチマークデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2024-03-28T08:19:33Z)
• PYRA: Parallel Yielding Re-Activation for Training-Inference Efficient Task Adaptation [61.57833648734164]
  本稿では, PYRA(Parallel Yielding Re-Activation)法を提案する。 PYRAは低圧縮率と高圧縮率の両方で競合する全ての手法より優れている。
  論文  参考訳（メタデータ） (2024-03-14T09:06:49Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。