論文の概要: Mechanistic Insights into LoRA: Layer Sparsity for Adaptive Fine-Tuning via Path Patching

• arxiv url: http://arxiv.org/abs/2610.34756v1
• Date: Mon, 26 Oct 2026 02:58:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.710467
• Title: Mechanistic Insights into LoRA: Layer Sparsity for Adaptive Fine-Tuning via Path Patching
• Title（参考訳）: LoRAにおけるメカニスティックな視点:パスパッチングによる適応的なファインチューニングのための層間疎結合性
• Abstract要約: Low-Rank Adaptation (LoRA) は、大規模言語モデルのパラメータ効率の良い微調整の主流パラダイムとして登場した。 この研究は機械的解釈可能性と実用的効率を橋渡しし、基本的な洞察と適応的な微調整のための原則化されたアプローチを提供する。
• 参考スコア（独自算出の注目度）: 15.392779164938004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) has emerged as the dominant paradigm for parameter-efficient fine-tuning of large language models. Standard all-layer LoRA applies adaptation throughout the transformer, despite heterogeneous contributions from its components. In this work, we conduct a systematic mechanistic interpretability analysis to understand how LoRA affects model internals. We observe that LoRA's adaptation effect is highly non-uniform, with significant component-wise and layer-wise sparsity. Most critically, we find that important layers are highly task-dependent, with limited overlap across tasks. Motivated by these insights, we propose Adaptive-LoRA, a calibration-driven method that automatically identifies task-specific layers via frozen-base zero-ablation, enabling efficient layer selection without exhaustive search. Extensive experiments on Qwen2.5-1.5B across 11 diverse reasoning tasks demonstrate that Adaptive-LoRA outperforms full-layer LoRA while using only 30% of layers, achieving a $3.5\times$ reduction in adapter parameters. This work bridges mechanistic interpretability and practical efficiency, providing both fundamental insights and a principled approach for adaptive fine-tuning.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、大規模言語モデルのパラメータ効率の良い微調整の主流パラダイムとして登場した。 標準の全層LoRAは、その成分から異質な寄与にもかかわらず、トランスフォーマー全体に適応する。 本研究では,LoRAがモデル内部に与える影響を理解するために,系統的機械論的解釈可能性解析を行う。 また,LoRAの適応効果は非一様であり,成分的および層的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的構造的構造的空間的空間的構造的構造的構造的構造的構造 最も重要なことは、重要なレイヤがタスク依存度が高く、タスク間の重複が限定されていることです。 そこで本研究では,フリーズベースゼロアブレーションによりタスク固有のレイヤを自動的に識別するキャリブレーション駆動の手法であるAdaptive-LoRAを提案する。 11の多様な推論タスクにわたるQwen2.5-1.5Bの大規模な実験では、Adaptive-LoRAは、30%のレイヤしか使用せず、フルレイヤのLoRAよりも優れており、アダプタパラメータの3.5\times$還元を実現している。 この研究は機械的解釈可能性と実用的効率を橋渡しし、基本的な洞察と適応的な微調整のための原則化されたアプローチを提供する。

関連論文リスト

• Where to Adapt Matters: Layer-Selective Fine-Tuning for Capability Retention [68.95190550625229]
  微調整された異なるトランスフォーマー層は、異なるターゲットタスクゲインと能力劣化の度合いを生成する。 入力出力が低い層にのみトレーニング可能なLoRAアダプタを配置するLayer-Selective LoRA(LS-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-10-08T09:59:16Z)
• Strategic Over-Parameterization for Generalizable Low-Rank Adaptation [14.867641913391779]
  大規模言語モデルへの完全な微調整による下流タスクへの適応は、計算とメモリの要求のため、ますます現実的ではない。 LoRA-Overは単純な原則に基づくフレームワークで、トレーニング中に最適化の風景を豊かにし、推論時に豊かにする。 LLaMA 2-7B と LLaMA 3.1-8B を用いた言語理解 (GLUE, T5-Base), 対話 (MT-Bench), 算術的推論 (GSM8K), コード生成 (HumanEval) に基づく LoRA-Over の評価を行った。
  論文  参考訳（メタデータ） (2026-05-15T12:26:17Z)
• ARD-LoRA: Dynamic Rank Allocation for Parameter-Efficient Fine-Tuning of Foundation Models with Heterogeneous Adaptation Needs [0.46040036610482665]
  本稿では,学習可能なスケーリング因子によるランク割り当てを自動化する新しいフレームワークであるAdaptive Rank Dynamic LoRA(ARD-LoRA)を紹介する。 ARD-LoRAは、連続的で、差別化可能な、ヘッドランクごとの適応を可能にする。 LLAMA-3.1-70BとPaliGemma-2の実験ではARD-LoRAの有効性が示され、トレーニング可能なパラメータは0.32%しかなかった。
  論文  参考訳（メタデータ） (2025-06-23T03:45:37Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models [8.251547772610301]
  低ランク適応 (LoRA) の方法論を、低ランク適応 (AloRA) と呼ぶ革新的なアプローチに拡張する。 まず,各ランクの重要度を効果的に推定できる新しい手法であるAB-LoRAを提案する。 第2に、AB-LoRAによって導かれ、我々は徐々にLoRAのランクに多く負の影響を及ぼし、高いランクを必要とする重要なトランスフォーマーモジュールにローラの予算を割り当てる。
  論文  参考訳（メタデータ） (2024-03-24T15:09:55Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。