論文の概要: Where to Adapt Matters: Layer-Selective Fine-Tuning for Capability Retention

• arxiv url: http://arxiv.org/abs/2610.11620v1
• Date: Thu, 08 Oct 2026 09:59:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.940727
• Title: Where to Adapt Matters: Layer-Selective Fine-Tuning for Capability Retention
• Title（参考訳）: 問題に適応する場所: 機能維持のための層選択ファインチューニング
• Abstract要約: 微調整された異なるトランスフォーマー層は、異なるターゲットタスクゲインと能力劣化の度合いを生成する。 入力出力が低い層にのみトレーニング可能なLoRAアダプタを配置するLayer-Selective LoRA(LS-LoRA)を提案する。
• 参考スコア（独自算出の注目度）: 68.95190550625229
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) enables large language models (LLMs) to adapt to specialized tasks, but often at the cost of degrading general capabilities acquired during pretraining. Existing approaches primarily mitigate this trade-off through data replay or regularization, relying on additional data or explicit optimization constraints. We instead focus on a different question: where should adaptation be applied? We find that fine-tuning different Transformer layers produces different target-task gains and degrees of capability degradation, suggesting that not all layers are equally suitable for adaptation. To characterize this difference, we use layer-wise empirical Fisher information to measure target-task sensitivity. However, computing Fisher scores requires backward computation and becomes increasingly expensive for large models. We therefore introduce input--output cosine similarity as a lightweight, forward-only proxy for ranking layer sensitivity. Across models and tasks, layers with lower input--output similarity consistently exhibit higher empirical Fisher scores. Building on this observation, we propose Layer-Selective LoRA (LS-LoRA), which places trainable LoRA adapters only in layers with low input--output similarity. Experiments on mathematical reasoning and code generation show that LS-LoRA improves average target-task performance while retaining substantially more commonsense reasoning capability than standard all-layer LoRA, demonstrating that carefully choosing where to adapt can provide a simple and effective way to balance target-task adaptation and general capability retention.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)では、大きな言語モデル(LLM)が特定のタスクに適応できるが、プレトレーニング時に得られる一般的な能力を劣化させるコストがかかることが多い。 既存のアプローチは、データリプレイや正規化を通じて、データの追加や明示的な最適化の制約に頼って、このトレードオフを軽減します。 代わりに、別の質問に焦点を合わせます。 微調整された異なるトランスフォーマー層は、異なるターゲットタスクゲインと能力劣化を生じさせ、全ての層が適応に等しく適合するわけではないことを示唆する。 この違いを特徴付けるために,我々は,ターゲットタスクの感度を測定するためにレイヤワイドな経験的フィッシャー情報を使用する。 しかし、フィッシャーのスコアの計算には後方計算が必要であり、大型モデルではますます高価になる。 そこで我々は、入力出力コサイン類似性を、ランキング層感度のための軽量でフォワードオンリーなプロキシとして導入する。 モデルとタスク全体において、入力出力の類似度が低いレイヤは、常に高い経験的フィッシャースコアを示す。 この観測結果に基づいて,学習可能なLoRAアダプタを低入力出力類似度層にのみ配置するLayer-Selective LoRA (LS-LoRA)を提案する。 数学的推論とコード生成の実験により、LS-LoRAは通常の全層LORAよりもはるかに一般的な推論能力を保ちながら平均目標タスク性能を向上することを示した。

関連論文リスト

• Adaptive Depth Sparse Framework: Similarity-Driven Resource Allocation for Pre-Trained LLMs [18.457250148137494]
  本稿では,既設の大規模言語モデルから深度スパースモデルへの変換を行う適応深度スパースフレームワーク(AdaDSF)を提案する。 GPT-NeoX と Qwen2.5 では、言語モデリングとコモンセンス推論について、AdaDSF は高密度の性能を保ちながら、推論FLOP を大幅に削減する。
  論文  参考訳（メタデータ） (2026-07-23T13:13:04Z)
• LAARA: Layer-Aware Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning [13.12609725011405]
  低ランク適応はパラメータ効率の微調整に広く用いられている。 我々は、一様ランクの割り当てが基本的に準最適であることを理論的、実証的に示す。 ランクを動的に割り当てる検索不要のフレームワークであるLAARAを提案する。
  論文  参考訳（メタデータ） (2026-07-02T19:01:59Z)
• Layer-wise LoRA fine-tuning: a similarity metric approach [0.6323908398583081]
  Low-Rank Adaptation (LoRA) 技術は、事前学習されたモデルを凍結し、少数のパラメータを更新することで、このプロセスの計算コストを削減することを目的としている。 従来の問題に対して,LoRAやその変種を用いて,少数の層のみを微調整に体系的に選択することで対処する。 異なるモデルやタスク間で予測性能を維持しながら、LoRAベースのテクニックのトレーニング可能なパラメータを最大50%削減する。
  論文  参考訳（メタデータ） (2026-02-05T18:38:53Z)
• Dynamic Context-oriented Decomposition for Task-aware Low-rank Adaptation with Less Forgetting and Faster Convergence [131.41894248194995]
  タスク認識方式でアダプタを初期化する新しい手法であるコンテキスト指向分解適応(CorDA)を提案する。 本手法は,タスク認識により,知識保存モード (KPM) と命令レビューモード (IPM) の2つのオプション適応モードを実現する。
  論文  参考訳（メタデータ） (2025-06-16T07:55:14Z)
• FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts [47.35092228595656]
  FLoEは、(i)MoEベースの低ランク適応のためのタスククリティカルトランスフォーマー層を動的に識別するFisher情報誘導重要度スコアリング機構、(ii)網羅的検索なしで特定のデータセット上で最適なLoRAランクを自動的に決定するベイズ最適化駆動ランクアロケータである。 多様なLCMとベンチマークの実験により、FLoEは顕著な効率と精度のトレードオフを達成し、FLoEは特に迅速な適応を必要とする資源制約環境において有利であることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-31T10:27:08Z)
• Dynamic Adaptation of LoRA Fine-Tuning for Efficient and Task-Specific Optimization of Large Language Models [0.7421845364041001]
  本稿では,大規模言語モデル-動的LoRAのためのファインチューニング手法を提案する。 効率と性能を改善するために動的適応機構を追加します。 動的LoRAの効率は、ベンチマークデータセットの実験で検証された。
  論文  参考訳（メタデータ） (2025-01-24T18:54:14Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for Task-Aware Parameter-Efficient Fine-tuning [101.81127587760831]
  現在の微調整手法は、学習すべき下流タスクのコンテキストや、維持すべき重要な知識のコンテキストに広く適用できるアダプタを構築している。 学習可能なタスク対応アダプタを構築するコンテキスト指向の分解適応手法であるCorDAを提案する。 本手法は,知識保存型適応と指導レビュー型適応の2つの選択肢を実現する。
  論文  参考訳（メタデータ） (2024-06-07T19:10:35Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。