論文の概要: MeTA-LoRA: Data-Efficient Multi-Task Fine-Tuning for Large Language Models

• arxiv url: http://arxiv.org/abs/2510.11598v1
• Date: Mon, 13 Oct 2025 16:37:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.459869
• Title: MeTA-LoRA: Data-Efficient Multi-Task Fine-Tuning for Large Language Models
• Title（参考訳）: MeTA-LoRA:大規模言語モデルのためのデータ効率の良いマルチタスクファインタニング
• Authors: Bo Cheng, Xu Wang, Jinda Liu, Yi Chang, Yuan Wu,
• Abstract要約: マルチタスク適応におけるデータ効率を大幅に向上する2段階最適化フレームワークであるMeTA-LoRAを紹介する。 マルチタスク学習と多言語学習の両方のシナリオにおいて、我々の手法は従来の全データLoRAファインチューニング手法の性能と一致するか、上回っている。
• 参考スコア（独自算出の注目度）: 19.55984142351919
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-Rank Adaptation (LoRA) has emerged as one of the most widely used parameter-efficient fine-tuning (PEFT) methods for adapting large language models (LLMs) to downstream tasks. While highly effective in single-task settings, it struggles to efficiently leverage inter-task knowledge in complex multi-task learning scenarios, often requiring substantial task-specific data to achieve optimal performance. To address this limitation, we introduce MeTA-LoRA, a two-stage optimization framework that significantly improves data efficiency in multi-task adaptation. In the first stage, task-specific LoRA adapters are learned using only a few samples from each involved dataset, enabling rapid adaptation without large-scale supervision. In the second stage, the shared LoRA adapter is updated by aggregating gradients from multiple tasks to promote knowledge transfer across tasks, further reducing data usage by leveraging common patterns. In both multi-task learning and multilingual learning scenarios, our method matches or surpasses the performance of traditional full-data LoRA fine-tuning approaches, while using significantly less task-specific data.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、大規模言語モデル(LLM)を下流タスクに適応させるために最も広く使われているパラメータ効率の微調整(PEFT)手法の1つである。 シングルタスク環境では非常に効果的であるが、複雑なマルチタスク学習シナリオにおいて、タスク間の知識を効率的に活用するのに苦労する。 この制限に対処するために,マルチタスク適応におけるデータ効率を大幅に改善する2段階最適化フレームワークであるMeTA-LoRAを導入する。 最初の段階では、タスク固有のLoRAアダプタが、関連するデータセットのサンプルを数個だけ使用して学習され、大規模な監視なしに迅速な適応が可能になった。 第2段階では、共有LoRAアダプタは複数のタスクからの勾配を集約してタスク間の知識伝達を促進し、共通パターンを活用することでデータ使用量をさらに削減することで更新される。 マルチタスク学習と多言語学習の両方のシナリオにおいて、我々の手法は従来の全データLoRAファインチューニング手法の性能にマッチするか、上回っている。

関連論文リスト

• ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation [96.86211867758652]
  Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。 タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-24T11:01:45Z)
• Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
  本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。 ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。 ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
  論文  参考訳（メタデータ） (2025-01-23T07:49:24Z)
• From Holistic to Localized: Local Enhanced Adapters for Efficient Visual Instruction Fine-Tuning [102.18178065928426]
  効率的なビジュアルインストラクションファインタニング(EVIT)は、最小の計算オーバーヘッドで下流タスクにマルチモーダル大言語モデル(MLLM)を適用することを目指している。 本稿では,Dual Low-Rank Adaptation (Dual-LoRA)を提案する。
  論文  参考訳（メタデータ） (2024-11-19T11:03:09Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。 このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• BoRA: Bayesian Hierarchical Low-Rank Adaption for Multi-Task Large Language Models [0.0]
  本稿では,マルチタスク大言語モデル(LLM)を微調整する新しい手法であるベイジアン階層型低ランク適応(BoRA)を紹介する。 BoRAは、グローバルな階層的事前を通じてタスクが情報を共有できるベイズ階層モデルを活用することでトレードオフに対処する。 実験の結果,BoRAは個々のモデルアプローチと統一モデルアプローチの両方に優れており,より難易度が低く,タスク間の一般化性が向上していることがわかった。
  論文  参考訳（メタデータ） (2024-07-08T06:38:50Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。