論文の概要: ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2505.18640v2
• Date: Mon, 29 Sep 2025 07:43:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 17:47:08.975118
• Title: ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation
• Title（参考訳）: ThanoRA: タスクの不均一性を考慮したマルチタスク低ランク適応
• Authors: Jian Liang, Wenke Huang, Xianda Guo, Guancheng Wan, Bo Du, Mang Ye,
• Abstract要約: Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。 タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
• 参考スコア（独自算出の注目度）: 96.86211867758652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-Rank Adaptation (LoRA) is widely adopted for downstream fine-tuning of foundation models due to its efficiency and zero additional inference cost. Many real-world applications require foundation models to specialize in several specific tasks simultaneously, motivating the need for efficient multi-task downstream adaptation. To address this need, existing studies have primarily explored two directions: Model Merging with LoRA, which shows advantages in training-free scenarios but still lags behind multi-task training in overall performance; and MoE-based LoRA approaches, which improve multi-task learning performance but introduce routers that hinder the mergeability of LoRA parameters and incur considerable inference overhead, thereby limiting real-world deployment practicality. To this end, we propose ThanoRA, a Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation framework that enables effective, efficient and unified multi-task downstream adaptation without introducing additional structure. ThanoRA performs multi-task learning by tailoring subspace allocation at initialization and enforcing diversity preservation throughout training: it allocates varying dimensions to construct task-specific low-rank subspaces driven by inter-task heterogeneity, enabling fine-grained knowledge injection, while diversity-preserving regularization mitigates task interference and subspace collapse, thereby fully exploiting the low-rank capacity. Extensive experiments across multimodal and text-only benchmarks under varying multi-task mixtures demonstrate that ThanoRA consistently outperforms strong baselines, surpassing even separate task-specific fine-tuning, while introducing no additional structures or inference overhead. Our code will be publicly available at: https://github.com/LiangJian24/ThanoRA.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) はその効率性と追加の推論コストがゼロであることから、基礎モデルの下流の微調整に広く採用されている。 多くの現実世界のアプリケーションは、複数の特定のタスクを同時に専門化する基盤モデルを必要とし、効率的なマルチタスク下流適応の必要性を動機付けている。 このニーズに対処するために、既存の研究では、トレーニングなしシナリオの利点を示すが、全体的なパフォーマンスにおけるマルチタスクトレーニングの遅れを示すLoRAを使ったモデルマージと、マルチタスク学習のパフォーマンスを改善するMoEベースのLoRAアプローチ、LoRAパラメータのマージ可能性の妨げとなるルータの導入と、それによる実際のデプロイメントの実践性を制限したルータの導入、という2つの方向を主に検討している。 そこで本稿では,タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTaroRAを提案する。 タスク間の不均一性によって駆動されるタスク固有の低ランクなサブスペースを構築するために様々な次元を割り当て、微粒な知識注入を可能にし、多様性を保った正規化はタスクの干渉を緩和し、サブスペースの崩壊を緩和し、低ランクのキャパシティを完全に活用する。 様々なマルチタスクの混合条件下でのマルチモーダルとテキストのみのベンチマークによる大規模な実験は、TanoRAが強いベースラインを一貫して上回り、タスク固有の微調整さえ超え、追加の構造や推論オーバーヘッドは導入されないことを示した。 私たちのコードは、https://github.com/LiangJian24/ThanoRA.comで公開されます。

関連論文リスト

• Align, Don't Divide: Revisiting the LoRA Architecture in Multi-Task Learning [20.31474646915225]
  頭間類似度の高い単純化されたマルチヘッドアーキテクチャは、複雑なマルチアダプタおよびマルチヘッドシステムより優れていることを示す。 本稿では,共有アダプタ空間内でのタスク表現の整合性を明示的に損なうAlign-LoRAを提案する。
  論文  参考訳（メタデータ） (2025-08-07T07:02:55Z)
• MoRE: A Mixture of Low-Rank Experts for Adaptive Multi-Task Learning [18.0412262027514]
  マルチタスクのためのMixture of Low-Rank Experts (MoRE)を提案する。 各タスクに個別のLoRAを使う代わりに、異なるタスクでLoRAモジュールの異なるランクを調整します。 また、タスクごとに適切な専門家を選択するために、新しい適応的なランクセレクタを設計する。
  論文  参考訳（メタデータ） (2025-05-28T12:32:09Z)
• Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.98941571078398]
  Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。 最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。 効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。 各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-25T06:56:39Z)
• Task-Aware Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [70.96345405979179]
  オフラインマルチタスク強化学習(MTRL)の目的は、オンライン環境相互作用を必要とせず、多様なタスクに適用可能な統一されたポリシーを開発することである。 タスクの内容と複雑さの変化は、政策の定式化において重大な課題を引き起こします。 本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。
  論文  参考訳（メタデータ） (2024-11-02T05:49:14Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。 このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• MoDE: Effective Multi-task Parameter Efficient Fine-Tuning with a Mixture of Dyadic Experts [6.245113492272563]
  Mixture of Dyadic Experts (MoDE) は効率的なマルチタスク適応のための新しい設計である。 我々の設計はよりきめ細かい混合を可能にし、それによってモデルの複数のタスクを共同で処理する能力を高めます。
  論文  参考訳（メタデータ） (2024-08-02T18:05:10Z)
• BoRA: Bayesian Hierarchical Low-Rank Adaption for Multi-Task Large Language Models [0.0]
  本稿では,マルチタスク大言語モデル(LLM)を微調整する新しい手法であるベイジアン階層型低ランク適応(BoRA)を紹介する。 BoRAは、グローバルな階層的事前を通じてタスクが情報を共有できるベイズ階層モデルを活用することでトレードオフに対処する。 実験の結果,BoRAは個々のモデルアプローチと統一モデルアプローチの両方に優れており,より難易度が低く,タスク間の一般化性が向上していることがわかった。
  論文  参考訳（メタデータ） (2024-07-08T06:38:50Z)
• Multimodal Instruction Tuning with Conditional Mixture of LoRA [51.58020580970644]
  本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。 各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。 様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
  論文  参考訳（メタデータ） (2024-02-24T20:15:31Z)
• LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning [122.47938710284784]
  協調型MARLにおける動的サブタスク代入(LDSA)を学習するための新しいフレームワークを提案する。 エージェントを異なるサブタスクに合理的に割り当てるために,能力に基づくサブタスク選択戦略を提案する。 LDSAは、より優れたコラボレーションのために、合理的で効果的なサブタスクの割り当てを学習していることを示す。
  論文  参考訳（メタデータ） (2022-05-05T10:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。