論文の概要: MASA: Rethinking the Representational Bottleneck in LoRA with Multi-A Shared Adaptation
- arxiv url: http://arxiv.org/abs/2510.06005v1
- Date: Tue, 07 Oct 2025 15:06:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-08 17:57:08.298657
- Title: MASA: Rethinking the Representational Bottleneck in LoRA with Multi-A Shared Adaptation
- Title（参考訳）: MASA: マルチA共有適応によるLoRAにおける表現型ブートネックの再考
- Authors: Qin Dong, Yuntian Tang, Heming Jia, Yunhang Shen, Bohan Jia, Wenxuan Huang, Lianyue Zhang, Jiao Xie, Shaohui Lin,
- Abstract要約: Low-Rank Adaptation (LoRA) が主流となっている。
Low-Rank Adaptation (LoRA) が主流となっている。
Low-Rank Adaptation (LoRA) が主流となっている。
Low-Rank Adaptation (LoRA) が主流となっている。
Low-Rank Adaptation (LoRA) が主流となっている。
Low-Rank Adaptation (LoRA) が主流となっている。
Low-Rank Adaptation (LoRA) が主流となっている。
- 参考スコア（独自算出の注目度）: 28.079735905482096
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Low-Rank Adaptation (LoRA) has emerged as a dominant method in Parameter-Efficient Fine-Tuning (PEFT) for large language models, which augments the transformer layer with one down-projection $A$ and one up-projection $B$. However, LoRA's reliance on a single down-projection matrix ($A$) creates a representational bottleneck, as this solitary feature extractor is inherently insufficient for capturing the diverse signals required by complex tasks. This motivates our architectural shift to focus on enriching the feature adaptation to improve the downstream task adaptation ability. We propose MASA (Multi-$A$ Shared Adaptation), an architecture that implements a multi-$A$, single-$B$ structure where the multi-$A$ expert ensemble is asymmetrically shared across layers to ensure parameter efficiency. In MASA, these specialized experts capture diverse features, which are then integrated by a single, layer-specific $B$-matrix. The effectiveness and versatility of our method are validated through a comprehensive suite of experiments spanning multi-domain generalization, single-domain specialization, and multi-task reasoning. For example, on the MMLU benchmark, MASA achieves an average accuracy of 59.62%, outperforming the standard LoRA by 1.08 points (a relative improvement of 1.84%) with comparable learnable parameters of 0.52%.
- Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、大きな言語モデルのためのパラメータ効率の良いファインチューニング(PEFT)において支配的な方法として登場し、トランスフォーマー層を1つのダウンプロジェクション$A$と1つのアッププロジェクション$B$で拡張している。
しかし、LORAの1つのダウンプロジェクション行列(A$)への依存は、この孤立した特徴抽出器が本質的に複雑なタスクで要求される多様な信号を取得するのに不十分であるため、表現的ボトルネックを生み出す。
これは、下流のタスク適応能力を改善するために、機能適応を強化することに集中するアーキテクチャシフトを動機付けます。
我々はMASA(Multi-$A$ Shared Adaptation)を提案し、MASA(Multi-$A$ Shared Adaptation)は、MASA(Multi-$A$, single-$B$構造)を実装するアーキテクチャである。
MASAでは、これらの専門専門家が多様な特徴を捉え、それが単一の層固有の$B$-matrixによって統合される。
提案手法の有効性と汎用性は,マルチドメインの一般化,単一ドメインの特殊化,マルチタスク推論を対象とする総合的な実験スイートを通じて検証する。
例えば、MMLUベンチマークでは、MASAの平均精度は59.62%であり、標準のLoRAの1.08ポイント(1.84%の相対的な改善)と0.52%の学習可能なパラメータを上回っている。
関連論文リスト
- Multi-Agent Tool-Integrated Policy Optimization [67.12841355267678]
大規模言語モデル(LLM)は、知識集約的かつ複雑な推論タスクに対して、多ターンツール統合計画にますます依存している。
既存の実装は通常、単一のエージェントに依存するが、コンテキスト長とノイズの多いツールレスポンスに悩まされる。
ツール統合マルチエージェントフレームワークの効果的な強化学習をサポートする方法はない。
論文 参考訳（メタデータ） (2025-10-06T10:44:04Z) - Rethinking Parameter Sharing for LLM Fine-Tuning with Multiple LoRAs [26.212332132619736]
マルチタスクファインタニングにおいて,複数の$A$行列と1つの共有$B$を持つ非対称なマルチローラ設計を提案する。
提案手法は,既存のマルチLoRA手法と比較して,同等あるいは優れた平均精度でタスク間のバランスの取れた性能を実現する。
論文 参考訳（メタデータ） (2025-09-29T19:16:14Z) - Align, Don't Divide: Revisiting the LoRA Architecture in Multi-Task Learning [20.31474646915225]
頭間類似度の高い単純化されたマルチヘッドアーキテクチャは、複雑なマルチアダプタおよびマルチヘッドシステムより優れていることを示す。
本稿では,共有アダプタ空間内でのタスク表現の整合性を明示的に損なうAlign-LoRAを提案する。
論文 参考訳（メタデータ） (2025-08-07T07:02:55Z) - AsymLoRA: Harmonizing Data Conflicts and Commonalities in MLLMs [5.018961516699825]
AsymLoRAは、知識のモジュール化と相互調整を統一するパラメータ効率のチューニングフレームワークである。
AsymLoRAは、共通点のみを捉えたバニラLoRAと、紛争のみに焦点を当てたLoRA-MoEの両方を一貫して上回っている。
論文 参考訳（メタデータ） (2025-02-27T12:21:02Z) - ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - From Holistic to Localized: Local Enhanced Adapters for Efficient Visual Instruction Fine-Tuning [102.18178065928426]
効率的なビジュアルインストラクションファインタニング(EVIT)は、最小の計算オーバーヘッドで下流タスクにマルチモーダル大言語モデル(MLLM)を適用することを目指している。
本稿では,Dual Low-Rank Adaptation (Dual-LoRA)を提案する。
論文 参考訳（メタデータ） (2024-11-19T11:03:09Z) - MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。
MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。
このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
論文 参考訳（メタデータ） (2024-10-12T08:32:26Z) - Multimodal Instruction Tuning with Conditional Mixture of LoRA [51.58020580970644]
本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。
各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。
様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
論文 参考訳（メタデータ） (2024-02-24T20:15:31Z) - MultiLoRA: Democratizing LoRA for Better Multi-Task Learning [20.750808913757396]
LoRAは、特定のタスクにLLMを適用する際に、顕著なリソース効率と同等のパフォーマンスを達成する。
LoRAは少数のトップ特異ベクトルに支配され、微調整はより重要でないユニタリ変換の集合に分解される。
我々は,LoRAで観測されるトップ特異ベクトルの優位性を低減し,マルチタスク適応性を向上するMultiLoRAを提案する。
論文 参考訳（メタデータ） (2023-11-20T02:59:18Z) - Multi-task Highly Adaptive Lasso [1.4680035572775534]
マルチタスク学習のための新しい非パラメトリックアプローチであるマルチタスク高適応ラッソ(MT-HAL)を提案する。
MT-HALは、共通モデルにとって重要な特徴、サンプル、タスク関連を同時に学習し、類似したタスク間で共有スパース構造を付与する。
MT-HALは、幅広いシミュレーション研究において、スパーシティーベースのMTL競合よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-01-27T23:46:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。