論文の概要: Rethinking Adapter Placement: A Dominant Adaptation Module Perspective

• arxiv url: http://arxiv.org/abs/2605.06183v1
• Date: Thu, 07 May 2026 13:01:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.803288
• Title: Rethinking Adapter Placement: A Dominant Adaptation Module Perspective
• Title（参考訳）: Rethinking Adapter Placement: A Dominant Adaptation Module Perspective
• Authors: Suoxin Zhang, Run He, Di Fang, Xiang Tan, Kaixuan Chen, Huiping Zhuang,
• Abstract要約: 低ランク適応 (LoRA) は、低ランクアダプタを凍結事前訓練されたモデルに配置するパラメータ効率の良い微調整法である。 近年の研究では、LoRAアダプタの使用が減少し、パフォーマンスが向上する可能性があるが、既存の手法ではアダプタを広く配布している。 本研究では,DomLoRAを提案する。DomLoRAは1つのアダプタを主適応モジュールに配置する配置法である。
• 参考スコア（独自算出の注目度）: 14.452224342067657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adaptation (LoRA) is a widely used parameter-efficient fine-tuning method that places trainable low-rank adapters into frozen pre-trained models. Recent studies show that using fewer LoRA adapters may still maintain or even improve performance, but existing methods still distribute adapters broadly, leaving where to place a limited number of adapters to maximize performance largely open. To investigate this, we introduce PAGE (Projected Adapter Gradient Energy), a gradient-based sensitivity probe that estimates the initial trainable gradient energy available to each candidate LoRA adapter. Surprisingly, we find that PAGE is highly concentrated on a single shallow FFN down-projection across two model families and four downstream tasks. We term this module the dominant adaptation module and show that its layer index is architecture-dependent but task-stable. Motivated by this finding, we propose DomLoRA, a placement method that places a single adapter at the dominant adaptation module. With only ~0.7% of vanilla LoRA's trainable parameters, DomLoRA outperforms it on average across various downstream tasks, including instruction following, mathematical reasoning, code generation, and multi-turn conversation. This method also improves other LoRA variants, supporting the dominant adaptation module perspective as a practical placement guideline.
• Abstract（参考訳）: 低ランク適応(LoRA)は、トレーニング可能な低ランクアダプタを凍結事前訓練されたモデルに配置するパラメータ効率のよい微調整法である。 近年の研究では、LoRAアダプタの使用量が減り、性能が向上する可能性があるが、既存の手法はアダプタを広く配布し、パフォーマンスを最大化するために限られた数のアダプタを配置する場所を残している。 そこで我々はPAGE (Projected Adapter Gradient Energy) という勾配型感度プローブを導入する。 驚くべきことに、PAGEは2つのモデルファミリーと4つの下流タスクにまたがる1つの浅いFFNダウンプロジェクションに集中している。 我々は、このモジュールを支配的な適応モジュールと呼び、その層インデックスがアーキテクチャに依存しているがタスク安定であることを示す。 この発見に触発されたDomLoRAは,単一アダプタを主適応モジュールに配置する配置法である。 バニラ・ロラのトレーニング可能なパラメータの ~0.7% で、DomLoRA は命令追従、数学的推論、コード生成、マルチターン会話など、様々な下流タスクで平均的にパフォーマンスを向上する。 この手法はLoRAの他の変種も改善し、実用的な配置ガイドラインとして主要な適応モジュールパースペクティブをサポートする。

関連論文リスト

• JumpLoRA: Sparse Adapters for Continual Learning in Large Language Models [78.56572636138429]
  JumpLoRAは,JumpReLUゲーティングを用いてローランド適応(LoRA)ブロックの間隔を適応的に誘導する新しいフレームワークである。 特に,IncLoRAの性能を著しく向上させ,最先端のCLであるELLAよりも優れることを示す。
  論文  参考訳（メタデータ） (2026-04-17T15:38:37Z)
• PHLoRA: data-free Post-hoc Low-Rank Adapter extraction from full-rank checkpoint [3.5840378192062956]
  我々は、フルランク微調整モデルから低ランク適応アダプタを抽出する簡易かつ強力なPHLoRAを提案する。 アダプタを明示的に訓練する以前の作業とは異なり、我々のアプローチはアダプタ生成から微調整を分離する。 Amazon Novaモデルファミリを用いたテキスト、画像、ビデオのベンチマーク実験では、抽出されたアダプタは、フルウェイトデルタから高エネルギーを保ち、安全に刈り取ることができ、再マージ時に下流タスクのパフォーマンスが無視できる劣化をもたらすことが示されている。
  論文  参考訳（メタデータ） (2025-09-13T20:13:58Z)
• Exploring Sparse Adapters for Scalable Merging of Parameter Efficient Experts [72.22148263683037]
  ニューラルネットワークの重みのサブセットのみをトレーニングするスパースアダプタの特性をモジュラーアーキテクチャの潜在的な構成要素として検討する。 まず,本論文の既存の手法よりも概念的にシンプルである,効果的なスパースアダプタの訓練方法を提案する。 次に,これらのスパースアダプタのマージ特性について,最大20の自然言語処理タスクに対して,アダプタをマージすることで検討する。
  論文  参考訳（メタデータ） (2025-07-09T03:25:45Z)
• PLoP: Precise LoRA Placement for Efficient Finetuning of Large Models [13.074320303580361]
  Low-Rank Adaptation (LoRA) は大規模モデルに広く用いられている微調整法である。 PLoP(Precise LoRA Placement)は,アダプタの自動識別を実現する軽量な手法である。 PLoPは一貫して優れており、最悪の場合、一般的に使われている配置戦略と競合する。
  論文  参考訳（メタデータ） (2025-06-25T17:25:02Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Rapid Switching and Multi-Adapter Fusion via Sparse High Rank Adapters [16.160749645651567]
  本稿では,標準モデルの重量の1-2%を直接微調整し,その他をそのまま残すSparse High Rank Adapters (SHiRA)を提案する。 この高分散性は、推論オーバーヘッドを発生させることなく、融合モードで直接切り替えることを可能にし、マルチアダプタ融合時の概念損失を著しく低減する。
  論文  参考訳（メタデータ） (2024-07-22T22:46:36Z)
• S-LoRA: Serving Thousands of Concurrent LoRA Adapters [59.490751234925206]
  パラメータ効率のよい微調整法であるLoRA(Lo-Rank Adaptation)は、ベースモデルを複数のタスクに適応させるためによく用いられる。 本稿では,多数のLoRAアダプタのスケーラブルな提供を目的としたシステムであるS-LoRAを提案する。
  論文  参考訳（メタデータ） (2023-11-06T17:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。