論文の概要: Fine-tuning Large Language Models with Limited Data: A Survey and Practical Guide

• arxiv url: http://arxiv.org/abs/2411.09539v2
• Date: Sat, 25 Oct 2025 10:17:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 19:54:32.232233
• Title: Fine-tuning Large Language Models with Limited Data: A Survey and Practical Guide
• Title（参考訳）: 限られたデータを用いた微調整大規模言語モデル:調査と実践的ガイド
• Authors: Marton Szep, Daniel Rueckert, Rüdiger von Eisenhart-Rothe, Florian Hinterwimmer,
• Abstract要約: 限られたデータで微調整された大規模言語モデル(LLM)は、低リソース言語、特殊なドメイン、制約付きデプロイメント設定において実践的な課題となる。 本稿では,データスカースシナリオにおけるLCMの微調整手法の構造化と実用化について述べる。
• 参考スコア（独自算出の注目度）: 18.62224900123851
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning large language models (LLMs) with limited data poses a practical challenge in low-resource languages, specialized domains, and constrained deployment settings. While pre-trained LLMs provide strong foundations, effective adaptation under data scarcity requires focused and efficient fine-tuning techniques. This paper presents a structured and practical survey of recent methods for fine-tuning LLMs in data-scarce scenarios. We systematically review parameter-efficient fine-tuning techniques that lower training and deployment costs, domain and cross-lingual adaptation methods for both encoder and decoder models, and model specialization strategies. We further examine preference alignment approaches that guide model behavior using limited human or synthetic feedback, emphasizing sample and compute efficiency. Throughout, we highlight empirical trade-offs, selection criteria, and best practices for choosing suitable techniques based on task constraints, including model scaling, data scaling, and the mitigation of catastrophic forgetting. The aim is to equip researchers and practitioners with actionable insights for effectively fine-tuning LLMs when data and resources are limited.
• Abstract（参考訳）: 限られたデータで微調整された大規模言語モデル(LLM)は、低リソース言語、特殊なドメイン、制約付きデプロイメント設定において実践的な課題となる。 事前訓練されたLLMは強力な基盤を提供するが、データ不足に対する効果的な適応には集中的かつ効率的な微調整技術が必要である。 本稿では,データスカースシナリオにおけるLCMの微調整手法の構造化と実用化について述べる。 我々は,訓練と展開コストを低減させるパラメータ効率の高い微調整手法,エンコーダモデルとデコーダモデルの両方に対するドメインおよび言語間の適応手法,およびモデル特殊化戦略を体系的に検討した。 さらに、限定された人間や合成フィードバックを用いてモデル動作を誘導する選好アライメント手法について検討し、サンプルと計算効率を強調した。 全体として、モデルスケーリング、データスケーリング、破滅的な忘れの軽減など、タスク制約に基づいた適切なテクニックを選択するための実証的なトレードオフ、選択基準、ベストプラクティスを強調します。 目的は、データやリソースが限られている場合、研究者や実践者に、効果的に微調整するLLMの実践的な洞察を与えることである。

関連論文リスト

• NanoNet: Parameter-Efficient Learning with Label-Scarce Supervision for Lightweight Text Mining Model [51.055122269052696]
  NanoNetは、限られた監督下でパラメータ効率の学習を実装する軽量テキストマイニングのための新しいフレームワークである。 プロセス全体はパラメータ効率の学習を活用し、トレーニングコストを削減し、監督要件を最小限に抑え、最終的には下流推論のための軽量なモデルを生み出す。
  論文  参考訳（メタデータ） (2026-02-05T08:31:57Z)
• Learn More, Forget Less: A Gradient-Aware Data Selection Approach for LLM [51.21051698747157]
  大規模言語モデル(LLM)の教師付き微調整のための自己適応型勾配対応データ選択手法(GrADS)を提案する。 具体的には、勾配の大きさと統計的分布を利用した自己指導型基準を設計し、モデルの学習プロセスに最も寄与する例を優先する。 GrADSは、医学、法学、金融など様々な分野にまたがる様々なLLMの広範な実験を通じて、大幅な効率性と費用対効果を示してきた。
  論文  参考訳（メタデータ） (2025-11-07T08:34:50Z)
• Towards Alignment-Centric Paradigm: A Survey of Instruction Tuning in Large Language Models [20.544181414963877]
  このサーベイは、命令チューニング戦略の全パイプラインの概要を提供する。 データ構築は、エキスパートアノテーション、より大きなモデルからの蒸留、自己改善メカニズムの3つの主要なパラダイムに分類した。 我々は、自動データ生成、適応最適化、堅牢な評価フレームワークのための有望な方向性について議論する。
  論文  参考訳（メタデータ） (2025-08-24T01:51:55Z)
• Efficient Strategy for Improving Large Language Model (LLM) Capabilities [0.0]
  大規模言語モデル(LLM)は、人工知能と自然言語処理の分野でマイルストーンとなっている。 大規模なデプロイメントは、重要な計算リソースの必要性によって、依然として制限されている。 この研究は、データ処理と慎重なデータ選択手法を探索し組み合わせるためのベースモデルから始めることを提案する。
  論文  参考訳（メタデータ） (2025-08-06T04:08:26Z)
• Optimising Language Models for Downstream Tasks: A Post-Training Perspective [0.0]
  言語モデル(LM)は、NLPにおいて顕著な能力を示している。 しかし、それらを効率的かつ堅牢に特定のタスクに適用することは、依然として困難である。 この論文は、下流アプリケーションにLMを適応させる一連の方法を提案する。
  論文  参考訳（メタデータ） (2025-06-26T00:49:35Z)
• Improving Multilingual Math Reasoning for African Languages [49.27985213689457]
  データタイプ(翻訳と合成)、トレーニングステージ(事前学習と後学習)、その他のモデル適応構成の異なる組み合わせを評価する実験を行う。 実験では,Llama 3.1 モデルファミリをベースモデルとして,数学的推論タスクに着目した。
  論文  参考訳（メタデータ） (2025-05-26T11:35:01Z)
• LLM Post-Training: A Deep Dive into Reasoning Large Language Models [131.10969986056]
  大規模言語モデル (LLMs) は自然言語処理の状況を変え、多様な応用をもたらした。 ポストトレーニング手法により、LLMは知識を洗練させ、推論を改善し、事実の正確性を高め、ユーザの意図や倫理的配慮をより効果的に整合させることができる。
  論文  参考訳（メタデータ） (2025-02-28T18:59:54Z)
• LLMs are Also Effective Embedding Models: An In-depth Overview [41.34518828980852]
  大規模言語モデル(LLM)は、様々なタスクで最先端のパフォーマンスを達成することによって、自然言語処理に革命をもたらした。 近年、埋め込みモデルとしての有効性が注目され、ELMoやBERTのような従来のエンコーダのみのモデルから、GPT、LLaMA、Mistralのようなデコーダのみの大規模LLMへとパラダイムシフトした。
  論文  参考訳（メタデータ） (2024-12-17T06:48:24Z)
• LLMs for Generalizable Language-Conditioned Policy Learning under Minimal Data Requirements [50.544186914115045]
  本稿では,オフライン言語によるポリシー学習のための新しいトレーニングパイプラインTEDUOを提案する。 TEDUOは、分かりやすい、ラベルなしのデータセットを運用し、いわゆるインザワイルド評価(in-the-wild evaluation)に適している。
  論文  参考訳（メタデータ） (2024-12-09T18:43:56Z)
• Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  本研究では,大規模言語モデル (LLM) を用いて予測モデルの事前分布を推定する手法を提案する。 本研究では,LLMがパラメータ分布を真に生成するかどうかを評価するとともに,文脈内学習と事前推論のためのモデル選択戦略を提案する。 その結果,LLMによる事前パラメータ分布は,低データ設定における非形式的先行よりも予測誤差を著しく低減することがわかった。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• Unsupervised Data Validation Methods for Efficient Model Training [0.0]
  自然言語処理(NLP)、テキスト音声処理(TTS)、音声テキスト処理(STT)、視覚言語モデル(VLM)は大規模なデータセットに大きく依存している。 本研究では,「品質データ」の定義,適切なデータ生成方法の開発,モデルトレーニングへのアクセシビリティ向上など,重要な分野について検討する。
  論文  参考訳（メタデータ） (2024-10-10T13:00:53Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。 フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities [0.35998666903987897]
  本稿では,Large Language Models (LLM) の微調整について検討する。 従来の自然言語処理(NLP)モデルから、AIにおける彼らの重要な役割まで、LLMの歴史的進化を概説している。 本報告では, 微調整LDMのための構造化7段パイプラインについて紹介する。
  論文  参考訳（メタデータ） (2024-08-23T14:48:02Z)
• Large Language Models: A New Approach for Privacy Policy Analysis at Scale [1.7570777893613145]
  本研究は,大規模プライバシポリシから効果的かつ効率的にプライバシプラクティスを抽出する代替手段として,LLM(Large Language Models)の適用を提案する。 我々はChatGPTやLlama 2といった有名なLLMを活用し、プロンプト、パラメータ、モデルの最適設計に関するガイダンスを提供する。 評価では、ドメイン内のいくつかの有名なデータセットをベンチマークとして、その例外的な性能を評価し、F1スコアが93%を超えた。
  論文  参考訳（メタデータ） (2024-05-31T15:12:33Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Bridging the Bosphorus: Advancing Turkish Large Language Models through Strategies for Low-Resource Language Adaptation and Benchmarking [1.3716808114696444]
  大規模言語モデル(LLM)は様々な分野において重要になってきており、表現不足の言語における高品質なモデルの緊急性を強調している。 本研究では、データ不足、モデル選択、評価、計算制限など、低リソース言語が直面する固有の課題について検討する。
  論文  参考訳（メタデータ） (2024-05-07T21:58:45Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Unleashing the Potential of Large Language Models for Predictive Tabular Tasks in Data Science [17.910306140400046]
  この研究は、これらの予測タスクにLarge Language Models (LLM)を適用する試みである。 本研究の目的は,Llama-2 の大規模学習を行う上で,注釈付きテーブルの包括的コーパスをコンパイルすることで,このギャップを緩和することにある。
  論文  参考訳（メタデータ） (2024-03-29T14:41:21Z)
• EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models with Semi-structured Data [67.8302955948861]
  大規模コーパスで事前訓練された大規模言語モデル(LLM)は、様々なNLPタスクにおいて顕著な性能を示した。 これらのモデルを特定のドメインに適用しても、ドメイン知識の欠如など、大きな課題が生じる。 我々は、Eコマースドメインを例として用いたLLMのドメイン固有の継続事前学習に焦点を当てた。
  論文  参考訳（メタデータ） (2023-12-25T11:31:47Z)
• Low-Rank Adaptation for Multilingual Summarization: An Empirical Study [60.541168233698194]
  私たちはその可能性を調査する。 多言語要約領域におけるローランド適応(LoRA)に着目した効率的なファインチューニング ハイデータやローデータの設定、言語間転送など、さまざまなデータ可用性シナリオに関する広範な調査を行います。 以上の結果から,LoRAは大量のデータでトレーニングされた場合の完全な微調整と競合し,低データシナリオや言語間転送に優れることがわかった。
  論文  参考訳（メタデータ） (2023-11-14T22:32:39Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• LMPriors: Pre-Trained Language Models as Task-Specific Priors [78.97143833642971]
  適切な事前条件でモデルを拡張するための原則的手法を開発した。 これは、世界に対する私たちの理解と相容れない方法で学ぶことを奨励するものです。 我々は,近年の大規模言語モデル(LM)の成功から着想を得た。
  論文  参考訳（メタデータ） (2022-10-22T19:09:18Z)
• Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey [67.82942975834924]
  BERTのような大規模で事前訓練された言語モデルは、自然言語処理(NLP)の分野を大きく変えた。 本稿では,これらの大規模言語モデルを用いたNLPタスクの事前学習,微調整,プロンプト,テキスト生成といった手法を用いた最近の研究について紹介する。
  論文  参考訳（メタデータ） (2021-11-01T20:08:05Z)
• Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning [30.5853328612593]
  本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。 実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。 我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
  論文  参考訳（メタデータ） (2020-12-04T08:34:39Z)
• A Survey on Recent Approaches for Natural Language Processing in Low-Resource Scenarios [30.391291221959545]
  ディープニューラルネットワークと巨大な言語モデルが、自然言語アプリケーションにおいて一様化しつつある。 大量のトレーニングデータを必要とすることで知られているため、低リソース環境でのパフォーマンスを改善するための作業が増えている。 ニューラルモデルに対する最近の根本的な変化と、一般的なプレトレインおよびファインチューンパラダイムにより、低リソースの自然言語処理に対する有望なアプローチを調査した。
  論文  参考訳（メタデータ） (2020-10-23T11:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。