論文の概要: ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2505.18640v1
• Date: Sat, 24 May 2025 11:01:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.558434
• Title: ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation
• Title（参考訳）: ThanoRA: タスクの不均一性を考慮したマルチタスク低ランク適応
• Authors: Jian Liang, Wenke Huang, Xianda Guo, Guancheng Wan, Bo Du, Mang Ye,
• Abstract要約: Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。 タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
• 参考スコア（独自算出の注目度）: 73.18867725540865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-Rank Adaptation (LoRA) is widely adopted for downstream fine-tuning of foundation models due to its efficiency and zero additional inference cost. Many real-world applications require foundation models to specialize in multiple tasks simultaneously, motivating the need for efficient multi-task adaptation. While recent approaches integrate LoRA with mixture-of-experts (MoE) to address this, the use of routers prevents parameter mergeability, which increases inference overhead and hinders unified multi-task adaptation, thereby limiting deployment practicality. In this work, we propose ThanoRA, a Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation framework that enables multi-task adaptation while preserving the inference efficiency of LoRA. ThanoRA jointly models task heterogeneity and mitigates subspace interference throughout training. Specifically, motivated by inherent differences in complexity and heterogeneity across tasks, ThanoRA constructs task-specific LoRA subspaces at initialization, enabling fine-grained knowledge injection aligned with task heterogeneity. Furthermore, to prevent task interference and subspace collapse during multi-task training, ThanoRA introduces a subspace-preserving regularization that maintains the independence of task-specific representations. With the synergy of both components, ThanoRA enables efficient and unified multi-task adaptation. Extensive experiments across multimodal and text-only benchmarks under varying multi-task mixtures demonstrate that ThanoRA consistently achieves robust and superior performance over strong baselines without introducing additional inference overhead. Our code is publicly available at: https://github.com/LiangJian24/ThanoRA.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) はその効率性と追加の推論コストがゼロであることから、基礎モデルの下流の微調整に広く採用されている。 多くの現実世界のアプリケーションは、複数のタスクを同時に専門化する基盤モデルを必要とし、効率的なマルチタスク適応の必要性を動機付けている。 近年のアプローチでは,LoRAとMix-of-experts(MoE)を統合してこの問題に対処しているが,ルータの使用によりパラメータのマージ性が低下し,推論オーバーヘッドが増加し,マルチタスク適応が阻害され,デプロイメントの実用性が制限される。 本稿では,LoRAの推論効率を保ちながらマルチタスク適応が可能なタスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTaroRAを提案する。 ThanoRAは共同でタスクの不均一性をモデル化し、トレーニングを通してサブスペース干渉を緩和する。 具体的には、タスク間の複雑さとヘテロジニティの固有の相違により、TanoRAは初期化時にタスク固有のLoRAサブスペースを構築し、タスクヘテロジニティと整合したきめ細かい知識注入を可能にする。 さらに、マルチタスクトレーニング中のタスク干渉やサブスペース崩壊を防止するため、タスク固有の表現の独立性を維持するサブスペース保存正規化を導入している。 両方のコンポーネントの相乗効果により、TanoRAは効率的で統一されたマルチタスク適応を可能にする。 様々なマルチタスクの混合条件下でのマルチモーダルおよびテキストのみのベンチマークによる大規模な実験により、TanoRAは推論オーバーヘッドを追加することなく、強いベースラインよりも頑健で優れたパフォーマンスを確実に達成できることを示した。 私たちのコードは、https://github.com/LiangJian24/ThanoRA.comで公開されています。

関連論文リスト

• Align, Don't Divide: Revisiting the LoRA Architecture in Multi-Task Learning [20.31474646915225]
  頭間類似度の高い単純化されたマルチヘッドアーキテクチャは、複雑なマルチアダプタおよびマルチヘッドシステムより優れていることを示す。 本稿では,共有アダプタ空間内でのタスク表現の整合性を明示的に損なうAlign-LoRAを提案する。
  論文  参考訳（メタデータ） (2025-08-07T07:02:55Z)
• MoRE: A Mixture of Low-Rank Experts for Adaptive Multi-Task Learning [18.0412262027514]
  マルチタスクのためのMixture of Low-Rank Experts (MoRE)を提案する。 各タスクに個別のLoRAを使う代わりに、異なるタスクでLoRAモジュールの異なるランクを調整します。 また、タスクごとに適切な専門家を選択するために、新しい適応的なランクセレクタを設計する。
  論文  参考訳（メタデータ） (2025-05-28T12:32:09Z)
• Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.98941571078398]
  Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。 最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。 効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。 各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-25T06:56:39Z)
• Task-Aware Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [70.96345405979179]
  オフラインマルチタスク強化学習(MTRL)の目的は、オンライン環境相互作用を必要とせず、多様なタスクに適用可能な統一されたポリシーを開発することである。 タスクの内容と複雑さの変化は、政策の定式化において重大な課題を引き起こします。 本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。
  論文  参考訳（メタデータ） (2024-11-02T05:49:14Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。 このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• MoDE: Effective Multi-task Parameter Efficient Fine-Tuning with a Mixture of Dyadic Experts [6.245113492272563]
  Mixture of Dyadic Experts (MoDE) は効率的なマルチタスク適応のための新しい設計である。 我々の設計はよりきめ細かい混合を可能にし、それによってモデルの複数のタスクを共同で処理する能力を高めます。
  論文  参考訳（メタデータ） (2024-08-02T18:05:10Z)
• BoRA: Bayesian Hierarchical Low-Rank Adaption for Multi-Task Large Language Models [0.0]
  本稿では,マルチタスク大言語モデル(LLM)を微調整する新しい手法であるベイジアン階層型低ランク適応(BoRA)を紹介する。 BoRAは、グローバルな階層的事前を通じてタスクが情報を共有できるベイズ階層モデルを活用することでトレードオフに対処する。 実験の結果,BoRAは個々のモデルアプローチと統一モデルアプローチの両方に優れており,より難易度が低く,タスク間の一般化性が向上していることがわかった。
  論文  参考訳（メタデータ） (2024-07-08T06:38:50Z)
• Multimodal Instruction Tuning with Conditional Mixture of LoRA [51.58020580970644]
  本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。 各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。 様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
  論文  参考訳（メタデータ） (2024-02-24T20:15:31Z)
• LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning [122.47938710284784]
  協調型MARLにおける動的サブタスク代入(LDSA)を学習するための新しいフレームワークを提案する。 エージェントを異なるサブタスクに合理的に割り当てるために,能力に基づくサブタスク選択戦略を提案する。 LDSAは、より優れたコラボレーションのために、合理的で効果的なサブタスクの割り当てを学習していることを示す。
  論文  参考訳（メタデータ） (2022-05-05T10:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。