論文の概要: A Comparative Analysis of LLM Adaptation: SFT, LoRA, and ICL in Data-Scarce Scenarios

• arxiv url: http://arxiv.org/abs/2511.00130v2
• Date: Tue, 04 Nov 2025 17:53:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.635378
• Title: A Comparative Analysis of LLM Adaptation: SFT, LoRA, and ICL in Data-Scarce Scenarios
• Title（参考訳）: LLM適応の比較分析:データ共有シナリオにおけるSFT, LoRA, ICL
• Authors: Bernd Bohnet, Rumen Dangovski, Kevin Swersky, Sherry Moore, Arslan Chaudhry, Kathleen Kenealy, Noah Fiedel,
• Abstract要約: 完全微調整は強力な適応法であるが、一般的な推論能力の低下につながる可能性がある。 Low-Rank Adaptation (LoRA)は最も効果的なバランスを提供し、ベースモデルの一般的な知識に最小限の影響を伴って新しいスキルを注入することに成功した。 本稿では,スキル獲得と知識統合の区別を重要視し,タスク固有のパフォーマンスと一般的な能力の維持とのトレードオフを明らかにする。
• 参考スコア（独自算出の注目度）: 11.964783773016363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The remarkable capabilities of Large Language Models (LLMs) often need to be tailored for specific applications, requiring the integration of new knowledge or the acquisition of new skills. While full fine-tuning is a powerful adaptation method, it is computationally expensive and can lead to a degradation of general reasoning abilities, a phenomenon known as catastrophic forgetting. A range of alternative techniques exists, each with its own trade-offs. In-Context Learning (ICL) is fast but limited by context length, while Parameter-Efficient Fine-Tuning (PEFT) methods like Low-Rank Adaptation (LoRA) offer a middle ground by minimizing parameter changes. However, the challenge of catastrophic forgetting persists, raising questions about the best adaptation strategy for a given task. This paper presents a comparative analysis of Supervised Finetuning (SFT), LoRA, and ICL in data-scarce scenarios. We find that LoRA provides the most effective balance, successfully instilling new skills with minimal impact on the base model's general knowledge. In contrast, while SFT excels at skill acquisition, it is highly susceptible to catastrophic forgetting. ICL is effective for incorporating factual knowledge but struggles with complex skills. Our findings offer a practical framework for selecting an LLM adaptation strategy. We highlight the critical distinction between skill acquisition and knowledge integration, clarify the trade-offs between task-specific performance and the preservation of general capabilities.
• Abstract（参考訳）: 大きな言語モデル(LLM)の顕著な能力は、しばしば特定のアプリケーションに合わせて調整され、新しい知識の統合や新しいスキルの獲得を必要とします。 完全な微調整は強力な適応法であるが、計算的に高価であり、破滅的な忘れ物として知られる一般的な推論能力の低下につながる可能性がある。 様々な代替技術があり、それぞれ独自のトレードオフがある。 In-Context Learning (ICL) は、文脈長によって制限されるが、パラメータ効率の良いFine-Tuning (PEFT) メソッドは、パラメータ変更を最小限に抑えることで、中間層を提供する。 しかし、破滅的な忘れ込みの課題は継続し、与えられたタスクに最適な適応戦略に関する疑問が提起される。 本稿では,データスカースシナリオにおけるスーパービジョンファインタニング(SFT),LoRA,ICLの比較分析を行う。 LoRAが最も効果的なバランスを提供し、ベースモデルの一般的な知識に最小限の影響を伴って、新しいスキルを取り入れることに成功している。 対照的に、SFTはスキル獲得において優れているが、破滅的な忘れ込みに非常に敏感である。 ICLは事実知識を取り入れるのに効果的だが、複雑なスキルに苦しむ。 LLM適応戦略を選択するための実践的なフレームワークを提供する。 本稿では,スキル獲得と知識統合の区別を重要視し,タスク固有のパフォーマンスと一般的な能力の維持とのトレードオフを明らかにする。

関連論文リスト

• CoLA: Collaborative Low-Rank Adaptation [3.421904493396495]
  特定のタスクに対する事前学習モデルの微調整は、高い性能を達成するが、計算的に高価で非効率である。 LoRAは特に有効であることが証明されているが、マルチタスクシナリオへの応用はタスク間の干渉によって制限されている。 我々は、より柔軟なLoRAアーキテクチャと3つの協調戦略であるCoLAを提案し、$A$と$B$の間の量的関係をよりよく活用することでパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2025-05-21T12:46:42Z)
• How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM? [55.33467849079774]
  ローランク適応(ローランク適応、LoRA)は、大規模言語モデルの更新やドメイン固有適応のための一般的かつ効率的な訓練手法である。 これまでに学習した知識を損なうことなく, LoRA を用いて LLM に新たな事実を組み込む方法について検討した。
  論文  参考訳（メタデータ） (2025-02-20T12:31:03Z)
• Teaching LLMs According to Their Aptitude: Adaptive Reasoning for Mathematical Problem Solving [55.895917967408586]
  大規模な言語モデルによる数学的推論への既存のアプローチは、一般化可能性(英語版)にはChain-of-Thought(英語版)(CoT)、正確な計算にはTool-Integrated Reasoning(英語版)(TIR)に依存している。 本稿では, LLM が自然に推論戦略をパーソナライズできる適応型フレームワークである TATA (Teaching LLMs according their Aptitude) を提案する。
  論文  参考訳（メタデータ） (2025-02-17T16:56:23Z)
• Technical Debt in In-Context Learning: Diminishing Efficiency in Long Context [24.905102026459428]
  トランスフォーマーは、パラメータを更新せずに簡単に実演を条件付けることで、新しいタスクに適応し、目覚ましいコンテキスト内学習能力を示した。 トランスフォーマーが、原則付き学習アルゴリズムと比較して、いかに文脈内学習を最適に行うかは、いまだに不明である。
  論文  参考訳（メタデータ） (2025-02-07T00:26:45Z)
• Unified Parameter-Efficient Unlearning for LLMs [25.195126838721492]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらし、様々なタスクに対する高度な理解と推論を可能にする。 これは、モデルが不注意に機密情報や望ましくない情報を保持および拡散する可能性があるため、重要なプライバシーとセキュリティ上の懸念を提起する。 本稿では,非学習タスクを体系的に分類し,影響関数を用いた高精度な調整を行う,新しいインスタンス単位のアンラーニングフレームワークLLMEraserを紹介する。
  論文  参考訳（メタデータ） (2024-11-30T07:21:02Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• KIF: Knowledge Identification and Fusion for Language Model Continual Learning [41.28933724210434]
  言語モデルのための新しいフレームワーク、Knowledge Identification and Fusion (KIF)を紹介する。 KIFはパラメータ依存に基づいてモデルを'スキルユニット'に分離し、より正確な制御を可能にする。 新たな課題に対するスキルユニットの重要性の分布を確認するために,新しいグループ単位の知識識別技術を採用している。 その結果、KIFは、事前知識の保持と、新しいタスクの卓越とを最適なバランスで達成する。
  論文  参考訳（メタデータ） (2024-08-09T17:44:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。