論文の概要: How Much is Too Much? Exploring LoRA Rank Trade-offs for Retaining Knowledge and Domain Robustness

• arxiv url: http://arxiv.org/abs/2512.15634v1
• Date: Wed, 17 Dec 2025 17:44:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-18 17:06:27.081907
• Title: How Much is Too Much? Exploring LoRA Rank Trade-offs for Retaining Knowledge and Domain Robustness
• Title（参考訳）: いくらすぎるのか? 知識とドメインのロバスト性を維持するためにLoRAランキングのトレードオフを探る
• Authors: Darshita Rathore, Vineet Kumar, Chetna Bansal, Anindya Moitra,
• Abstract要約: 大規模な言語モデルは、微調整によって下流タスクに適応する傾向にある。 完全教師付きファインチューニング(SFT)とパラメータ効率のファインチューニング(PEFT)手法(Lo-Rank Adaptation(LoRA))は2つの主要なアプローチである。
• 参考スコア（独自算出の注目度）: 0.8757823830026766
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models are increasingly adapted to downstream tasks through fine-tuning. Full supervised fine-tuning (SFT) and parameter-efficient fine-tuning (PEFT) methods, such as Low-Rank Adaptation (LoRA), are two dominant approaches. While PEFT methods are widely used for their computational efficiency, the implications of their configurations (e.g., rank) remain under-explored in downstream Q&A tasks and generalisation. In this work, we perform a comprehensive evaluation across multiple reasoning and recall datasets, conducting a rank sweep to quantify the trade-off between SFT and PEFT. We also compare the accuracy of PEFT and SFT models across in-domain and out-of-domain adaptation, highlighting distinct generalisation behaviour and task-specific forgetting. We demonstrate that LoRA achieves competitive and in some cases superior performance compared to SFT, particularly on reasoning tasks at specific rank values. Additionally, we analyze the internal representations via spectral features and layer-wise attention structures, offering insights into representational drift and structural changes in attention patterns.
• Abstract（参考訳）: 大規模な言語モデルは、微調整によって下流タスクに適応する傾向にある。 完全教師付きファインチューニング(SFT)とパラメータ効率のファインチューニング(PEFT)手法(Lo-Rank Adaptation(LoRA))は2つの主要なアプローチである。 PEFT法は計算効率を高めるために広く用いられているが、その構成(例えばランク)は、下流のQ&Aタスクや一般化において未探索のままである。 本研究では,複数の推論およびリコールデータセットに対して総合的な評価を行い,SFTとPEFTのトレードオフの定量化を行う。 また、PEFTモデルとSFTモデルのドメイン内およびドメイン外適応の精度を比較し、個別の一般化行動とタスク固有の忘れを強調させる。 我々は、LoRAがSFTよりも優れた性能を達成できることを示し、特に特定のランク値の推論タスクについて述べる。 さらに,スペクトル特徴と層状アテンション構造を用いて内部表現を分析し,アテンションパターンの表現的ドリフトと構造的変化について考察する。

関連論文リスト

• Supervised Fine-Tuning or Contrastive Learning? Towards Better Multimodal LLM Reranking [56.46309219272326]
  大型言語モデル(LLM)では、教師付き微調整(SFT)による分類は、関連する(非関連)ペアに対して'yes' (resp. ''no')トークンを予測する。 この分散は中心的な疑問を提起する:どの目的がLLMベースのリランクに本質的に適しているか、どのメカニズムが違いの根底にあるのか? 我々はCLとSFTの総合的な比較と分析を行い、ユニバーサルマルチモーダル検索(UMR)を実験場とした。
  論文  参考訳（メタデータ） (2025-10-16T16:02:27Z)
• SFT Doesn't Always Hurt General Capabilities: Revisiting Domain-Specific Fine-Tuning in LLMs [53.77646961962239]
  Supervised Fine-Tuning (SFT) は、大規模言語モデル(LLM)を特殊タスクに適用するための一般的なアプローチである。 より少ない学習率で一般的な性能劣化を著しく軽減することができる。
  論文  参考訳（メタデータ） (2025-09-25T05:28:22Z)
• DiffLoRA: Differential Low-Rank Adapters for Large Language Models [59.58987161199141]
  本稿では,差分アテンション機構のパラメータ効率を考慮したDiffLoRAを提案する。 我々はDiffLoRAを、一般的なベンチマーク、多ショットインコンテキスト学習、RAG、長期コンテキストテストなど、幅広いNLPタスクで評価する。
  論文  参考訳（メタデータ） (2025-07-31T14:24:59Z)
• Massive Supervised Fine-tuning Experiments Reveal How Data, Layer, and Training Factors Shape LLM Alignment Quality [22.105116314320696]
  Supervised Fine-tuning (SFT) は、大きな言語モデルを人間の指示や値に合わせるための重要なステップである。 コード生成、数学的推論、汎用ドメインタスクなど、さまざまなデータセットに基づいて、幅広いベースモデルをトレーニングしました。 次に、最も重要となるデータセット特性を特定し、SFTが導入した階層的な修正について検討した。
  論文  参考訳（メタデータ） (2025-06-17T16:13:15Z)
• FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts [47.35092228595656]
  FLoEは、(i)MoEベースの低ランク適応のためのタスククリティカルトランスフォーマー層を動的に識別するFisher情報誘導重要度スコアリング機構、(ii)網羅的検索なしで特定のデータセット上で最適なLoRAランクを自動的に決定するベイズ最適化駆動ランクアロケータである。 多様なLCMとベンチマークの実験により、FLoEは顕著な効率と精度のトレードオフを達成し、FLoEは特に迅速な適応を必要とする資源制約環境において有利であることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-31T10:27:08Z)
• MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning [5.412348391086257]
  我々は,グローバル共有ロラ,ミッドレベル共有ロラ,レイヤ特化ロラを導入して,グローバルパターン,中間レベル特徴,きめ細かい情報をキャプチャするMPPLoRAを提案する。 様々なNLPタスクの実験により、MPPLoRAはトレーニング可能なパラメータの数を著しく減らしながら、より効率的な適応とより良い性能を実現することが示された。
  論文  参考訳（メタデータ） (2025-03-27T07:01:50Z)
• Task-Specific Directions: Definition, Exploration, and Utilization in Parameter Efficient Fine-Tuning [65.31677646659895]
  大規模な言語モデルは、下流タスクで素晴らしいパフォーマンスを示すが、全てのパラメータを完全に微調整する場合は、リソース消費がかなり必要である。 本稿では,タスク固有の方向(TSD)を明確に定義するフレームワークを提案し,その特性と実用化の課題について検討する。 次に、微調整過程におけるTLDの影響を最大化する新しいアプローチであるLoRA-Dashを導入する。
  論文  参考訳（メタデータ） (2024-09-02T08:10:51Z)
• Fine Tuning vs. Retrieval Augmented Generation for Less Popular Knowledge [15.553942864736989]
  言語モデル(LM)は膨大な事実知識を記憶し、様々なタスクやドメインにまたがって強力なパフォーマンスを示す。 低頻度トピックにおけるLMの性能を高めるための2つの顕著なアプローチは、検索型拡張生成(RAG)と合成データに対する微調整(FT)である。 本稿では,質問応答タスクにおける低周波エンティティ処理におけるLMのカスタマイズに対するRAGとFTの影響について検討し,評価する。
  論文  参考訳（メタデータ） (2024-03-03T08:07:55Z)
• Delving into Parameter-Efficient Fine-Tuning in Code Change Learning: An Empirical Study [10.052053069122652]
  PEFTは、いくつかのコード理解タスクにおいて、優れた性能と計算オーバーヘッドを実証している。 トレーニング済みの汎用知識を下流タスクに活用する。 PEFTがFMFTよりもコード変更関連タスクのタスク特化に優れているかどうかは不明だ。
  論文  参考訳（メタデータ） (2024-02-09T08:40:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。