論文の概要: ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2505.18640v1
• Date: Sat, 24 May 2025 11:01:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.558434
• Title: ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation
• Title（参考訳）: ThanoRA: タスクの不均一性を考慮したマルチタスク低ランク適応
• Authors: Jian Liang, Wenke Huang, Xianda Guo, Guancheng Wan, Bo Du, Mang Ye,
• Abstract要約: Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。 タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
• 参考スコア（独自算出の注目度）: 73.18867725540865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-Rank Adaptation (LoRA) is widely adopted for downstream fine-tuning of foundation models due to its efficiency and zero additional inference cost. Many real-world applications require foundation models to specialize in multiple tasks simultaneously, motivating the need for efficient multi-task adaptation. While recent approaches integrate LoRA with mixture-of-experts (MoE) to address this, the use of routers prevents parameter mergeability, which increases inference overhead and hinders unified multi-task adaptation, thereby limiting deployment practicality. In this work, we propose ThanoRA, a Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation framework that enables multi-task adaptation while preserving the inference efficiency of LoRA. ThanoRA jointly models task heterogeneity and mitigates subspace interference throughout training. Specifically, motivated by inherent differences in complexity and heterogeneity across tasks, ThanoRA constructs task-specific LoRA subspaces at initialization, enabling fine-grained knowledge injection aligned with task heterogeneity. Furthermore, to prevent task interference and subspace collapse during multi-task training, ThanoRA introduces a subspace-preserving regularization that maintains the independence of task-specific representations. With the synergy of both components, ThanoRA enables efficient and unified multi-task adaptation. Extensive experiments across multimodal and text-only benchmarks under varying multi-task mixtures demonstrate that ThanoRA consistently achieves robust and superior performance over strong baselines without introducing additional inference overhead. Our code is publicly available at: https://github.com/LiangJian24/ThanoRA.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) はその効率性と追加の推論コストがゼロであることから、基礎モデルの下流の微調整に広く採用されている。 多くの現実世界のアプリケーションは、複数のタスクを同時に専門化する基盤モデルを必要とし、効率的なマルチタスク適応の必要性を動機付けている。 近年のアプローチでは,LoRAとMix-of-experts(MoE)を統合してこの問題に対処しているが,ルータの使用によりパラメータのマージ性が低下し,推論オーバーヘッドが増加し,マルチタスク適応が阻害され,デプロイメントの実用性が制限される。 本稿では,LoRAの推論効率を保ちながらマルチタスク適応が可能なタスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTaroRAを提案する。 ThanoRAは共同でタスクの不均一性をモデル化し、トレーニングを通してサブスペース干渉を緩和する。 具体的には、タスク間の複雑さとヘテロジニティの固有の相違により、TanoRAは初期化時にタスク固有のLoRAサブスペースを構築し、タスクヘテロジニティと整合したきめ細かい知識注入を可能にする。 さらに、マルチタスクトレーニング中のタスク干渉やサブスペース崩壊を防止するため、タスク固有の表現の独立性を維持するサブスペース保存正規化を導入している。 両方のコンポーネントの相乗効果により、TanoRAは効率的で統一されたマルチタスク適応を可能にする。 様々なマルチタスクの混合条件下でのマルチモーダルおよびテキストのみのベンチマークによる大規模な実験により、TanoRAは推論オーバーヘッドを追加することなく、強いベースラインよりも頑健で優れたパフォーマンスを確実に達成できることを示した。 私たちのコードは、https://github.com/LiangJian24/ThanoRA.comで公開されています。

関連論文リスト

• Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.98941571078398]
  Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。 最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。 効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。 各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-25T06:56:39Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。 このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• BoRA: Bayesian Hierarchical Low-Rank Adaption for Multi-Task Large Language Models [0.0]
  本稿では,マルチタスク大言語モデル(LLM)を微調整する新しい手法であるベイジアン階層型低ランク適応(BoRA)を紹介する。 BoRAは、グローバルな階層的事前を通じてタスクが情報を共有できるベイズ階層モデルを活用することでトレードオフに対処する。 実験の結果,BoRAは個々のモデルアプローチと統一モデルアプローチの両方に優れており,より難易度が低く,タスク間の一般化性が向上していることがわかった。
  論文  参考訳（メタデータ） (2024-07-08T06:38:50Z)
• Multimodal Instruction Tuning with Conditional Mixture of LoRA [51.58020580970644]
  本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。 各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。 様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
  論文  参考訳（メタデータ） (2024-02-24T20:15:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。