論文の概要: Aletheia: Gradient-Guided Layer Selection for Efficient LoRA Fine-Tuning Across Architectures

• arxiv url: http://arxiv.org/abs/2604.15351v1
• Date: Sat, 04 Apr 2026 10:24:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:13.857964
• Title: Aletheia: Gradient-Guided Layer Selection for Efficient LoRA Fine-Tuning Across Architectures
• Title（参考訳）: Aletheia: 効率的なLoRAファインチューニングアーキテクチャのためのグラディエントガイド型層選択
• Authors: Abdulmalek Saket,
• Abstract要約: Low-Rank Adaptation (LoRA) は大規模モデルのパラメータ効率の高い微調整法として主流となっている。 Aletheiaは勾配誘導層選択法である。 Aletheia は評価セットに大規模な下流損傷を与えることなく,ロラ微調整を効果的に行えることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-Rank Adaptation (LoRA) has become the dominant parameter-efficient fine-tuning method for large language models, yet standard practice applies LoRA adapters uniformly to all transformer layers regardless of their relevance to the downstream task. We introduce Aletheia, a gradient-guided layer selection method that identifies the most task-relevant layers via a lightweight gradient probe and applies LoRA adapters only to those layers with asymmetric rank allocation. Across 81 experiment rows covering 14 successful models from 8 architecture families (0.5B-72B parameters, including dense and Mixture-of-Experts architectures), with one additional documented failed Pythia/GPT-NeoX attempt in Campaign 2, Aletheia achieves a 15-28% training speedup (mean 23.1%, p < 0.001) with bounded extra forgetting and broadly matched downstream behavior on the evaluated MMLU, GSM8K, and HumanEval benchmark pack. Across the tested families and scales, Campaign 1 shows a 100% per-model speed win rate and Campaign 2 shows broadly preserved downstream behavior within a bounded-degradation framing. Together these results support a practical model-economics claim: intelligent layer selection can make LoRA fine-tuning materially more efficient without introducing major downstream damage on the evaluated set.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は大規模言語モデルにおいてパラメータ効率のよい微調整法として主流となっているが、標準的な手法では、下流タスクとの関係にかかわらず、すべてのトランスフォーマー層にLoRAアダプタを統一的に適用している。 Aletheiaは、軽量な勾配プローブを用いてタスク関連層を識別し、ロラアダプタを非対称なランクアロケーションを持つ層にのみ適用する、勾配誘導層選択法である。 8つのアーキテクチャファミリ(0.5B-72Bパラメータを含む0.5B-72Bパラメータを含む)から14のモデルをカバーする81の実験列に、キャンペーン2におけるPythia/GPT-NeoXの試みが1つ追加で失敗し、アレクシアは15-28%のトレーニングスピードアップ(平均23.1%、p < 0.001)を達成した。 試験された家族とスケール全体で、キャンペーン1はモデル毎の速度勝利率100%を示し、キャンペーン2は境界劣化フレーミング内の下流の挙動を広く保存している。 インテリジェント層選択により、評価されたセットに大規模な下流損傷を発生させることなく、LoRAの微調整をより効率的にすることができる。

関連論文リスト

• A Layer-wise Analysis of Supervised Fine-Tuning [8.337291809639352]
  Supervised Fine-Tuning (SFT) は破滅的な忘れ込みのリスクを引き起こす。 本稿では,情報理論,幾何,最適化の指標を用いた包括的分析により,このメカニズムについて検討する。 そこで我々は,これらの重要な中間層を選択的に更新するミッドブロック効率チューニングを提案する。
  論文  参考訳（メタデータ） (2026-04-12T12:57:12Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• Outlier-weighed Layerwise Sampling for LLM Fine-tuning [18.102930806071978]
  Outlier-weighed Layerwise Smplingはメモリ効率の良い微調整アプローチである。 我々は、OWSが完全な微調整を含むベースラインアプローチを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2024-05-28T17:22:22Z)
• LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning [31.088229461632206]
  大規模言語モデル(LLM)は大規模トレーニングにおいて重要な障害となっている。 ローランド適応(LoRA)はこの問題を軽減するために提案されている。 微調整作業におけるLoRAの層状特性について検討し、予期せぬが一貫した重みノルムの歪さを観察する。 私たちはLayerwise Importance Sampled AdamW (LISA)と名付けた。
  論文  参考訳（メタデータ） (2024-03-26T17:55:02Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• Outlier Weighed Layerwise Sparsity (OWL): A Missing Secret Sauce for Pruning LLMs to High Sparsity [88.62935593360162]
  大規模言語モデル(LLM)は、様々な領域にわたる顕著なパフォーマンスで有名である。 本研究では,不均一層幅比の調整を施した新しいLCMプルーニング手法について紹介する。 OWL は、最先端の Wanda と SparseGPT を 61.22 で上回り、6.80 パープレキシティを 70% で上回っている。
  論文  参考訳（メタデータ） (2023-10-08T14:22:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。