論文の概要: CD-LoRA: Consistency-Driven Low-Rank Adaptation for Multi-Task Fine-Tuning

• arxiv url: http://arxiv.org/abs/2608.21909v1
• Date: Sat, 22 Aug 2026 10:45:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.934505
• Title: CD-LoRA: Consistency-Driven Low-Rank Adaptation for Multi-Task Fine-Tuning
• Title（参考訳）: CD-LoRA:マルチタスクファインチューニングのための一貫性駆動型低ランク適応
• Authors: Qian Zha, Jinda Liu, Yuan Wu, Yi Chang,
• Abstract要約: LoRAベースの手法は、タスク固有の知識を分割する複雑なルーティング機構に依存している。 一貫性駆動型低ランク適応(CD-LoRA)を提案する。 実験の結果、CD-LoRAは最先端のマルチアダプタベースラインを一貫して上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 15.557162320382337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Multi-Task Learning (MTL) is essential for adapting Large Language Models (LLMs) to diverse domains, prevailing LoRA-based methods rely on complex routing mechanisms that partition task-specific knowledge. In this work, we reveal that such routing-based designs are prone to a training-inference discrepancy, where stochastic routing decisions under distribution shifts compromise inference stability. Driven by a second-order Taylor analysis that exposes the instability induced by routing variance, we challenge the training-inference discrepancy and propose Consistency-Driven Low-Rank Adaptation (CD-LoRA). By eliminating routers entirely, CD-LoRA employs a consistency-driven alignment mechanism to enforce representation congruence across tasks in a shared low-rank space. This paradigm fosters robust, task-agnostic features without explicit partitioning overhead. Extensive experiments show that CD-LoRA consistently outperforms state-of-the-art multi-adapter baselines, offering a simpler, router-free, and more stable solution for multi-task PEFT. The code is available at the anonymous link https://github.com/zhaqian21/CD-LoRA.
• Abstract（参考訳）: MTL(Multi-Task Learning)は大規模言語モデル(LLM)を多様なドメインに適用するために必須であるが、LoRAベースの手法はタスク固有の知識を分割する複雑なルーティング機構に依存している。 本研究では,そのようなルーティングに基づく設計は,確率的ルーティング決定が予測安定性を損なうような,トレーニング推論の相違を生じやすいことを示す。 ルーティング分散によって誘導される不安定性を明らかにする2次テイラー解析により、トレーニング推論の相違に挑戦し、一貫性駆動型低ランク適応(CD-LoRA)を提案する。 ルータを完全に排除することで、CD-LoRAは、共有低ランク空間におけるタスク間の表現の一致を強制するために、一貫性駆動のアライメント機構を使用する。 このパラダイムは、明示的なパーティショニングオーバーヘッドなしで、堅牢でタスクに依存しない機能を促進する。 大規模な実験により、CD-LoRAは最先端のマルチアダプタベースラインを一貫して上回り、よりシンプルでルータフリーで安定したマルチタスクPEFTソリューションを提供することが示された。 コードは匿名リンク https://github.com/zhaqian21/CD-LoRA で公開されている。

関連論文リスト

• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Disentangling Task Conflicts in Multi-Task LoRA via Orthogonal Gradient Projection [4.664605519215656]
  Low-Rank Adaptation (LoRA)と組み合わせたマルチタスク学習(MTL)が,大規模言語モデル(LLM)のパラメータ効率向上のための有望な方向として登場した。 複数のタスクにまたがる単一のアダプタを共有することで、ストレージオーバーヘッドを大幅に削減できる。 このアプローチは、個別タスクからの差分更新がシングルタスクの微調整と比較して個々のタスクのパフォーマンスを低下させるという、負の転送に悩まされる。 そこで我々は,LoRAの2部構造に適した勾配投影法であるOrtho-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-01-14T18:36:22Z)
• FlyLoRA: Boosting Task Decoupling and Parameter Efficiency via Implicit Rank-Wise Mixture-of-Experts [44.21416999726094]
  Low-Rank Adaptation (LoRA) は基礎モデルのパラメータ効率の高い微調整法である。 MoEベースのLoRA変種は、単一タスクの命令チューニングにおいて、タスク内相関を緩和する。 FlyLoRA は暗黙の MoE ベースの LoRA 変種であり、アッププロジェクション行列にランクワイズの専門家アクティベーションを導入する。
  論文  参考訳（メタデータ） (2025-10-09T16:17:13Z)
• Align, Don't Divide: Revisiting the LoRA Architecture in Multi-Task Learning [20.31474646915225]
  頭間類似度の高い単純化されたマルチヘッドアーキテクチャは、複雑なマルチアダプタおよびマルチヘッドシステムより優れていることを示す。 本稿では,共有アダプタ空間内でのタスク表現の整合性を明示的に損なうAlign-LoRAを提案する。
  論文  参考訳（メタデータ） (2025-08-07T07:02:55Z)
• Enhancing Multimodal Continual Instruction Tuning with BranchLoRA [26.618850482040397]
  マルチモーダル・インストラクション・チューニング(Multimodal Continual Instruction Tuning)は、マルチモーダル・大規模言語モデル(MLLM)を微調整し、人間の意図と継続的に一致させることを目的としている。 既存のアプローチは、しばしば以前の命令アライメントを維持するためにMixture-of-Experts (MoE) LoRAフレームワークに依存している。 効率と性能を両立させる非対称なフレームワークである BranchLoRA を提案する。
  論文  参考訳（メタデータ） (2025-05-31T09:02:38Z)
• ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation [96.86211867758652]
  Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。 タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-24T11:01:45Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• Multimodal Instruction Tuning with Conditional Mixture of LoRA [51.58020580970644]
  本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。 各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。 様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
  論文  参考訳（メタデータ） (2024-02-24T20:15:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。