Fugu-MT 論文翻訳(概要): Fine-Tuned In-Context Learners for Efficient Adaptation

論文の概要: Fine-Tuned In-Context Learners for Efficient Adaptation

arxiv url: http://arxiv.org/abs/2512.19879v1
Date: Mon, 22 Dec 2025 21:12:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-12-24 19:17:49.663679
Title: Fine-Tuned In-Context Learners for Efficient Adaptation
Title（参考訳）: 高精度適応のための微調整型インテクスト学習装置
Authors: Jorg Bornschein, Clare Lyle, Yazhe Li, Amal Rannen-Triki, Xu Owen He, Razvan Pascanu,
Abstract要約: 大規模言語モデル(LLM)の微調整に対する統一的アプローチを提案する。我々は、kショットプロンプトの構造を模倣して、コンテキスト内例を付加したタスク固有データ上でモデルを微調整する。このアプローチは、タスク毎の微調整を必要とする一方で、コンテキスト内学習のサンプル効率と微調整の性能向上を組み合わせている。
参考スコア（独自算出の注目度）: 27.541207591799004
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: When adapting large language models (LLMs) to a specific downstream task, two primary approaches are commonly employed: (1) prompt engineering, often with in-context few-shot learning, leveraging the model's inherent generalization abilities, and (2) fine-tuning on task-specific data, directly optimizing the model's parameters. While prompt-based methods excel in few-shot scenarios, their effectiveness often plateaus as more data becomes available. Conversely, fine-tuning scales well with data but may underperform when training examples are scarce. We investigate a unified approach that bridges these two paradigms by incorporating in-context learning directly into the fine-tuning process. Specifically, we fine-tune the model on task-specific data augmented with in-context examples, mimicking the structure of k-shot prompts. This approach, while requiring per-task fine-tuning, combines the sample efficiency of in-context learning with the performance gains of fine-tuning, leading to a method that consistently matches and often significantly exceeds both these baselines. To perform hyperparameter selection in the low-data regime, we propose to use prequential evaluation, which eliminates the need for expensive cross-validation and leverages all available data for training while simultaneously providing a robust validation signal. We conduct an extensive empirical study to determine which adaptation paradigm - fine-tuning, in-context learning, or our proposed unified approach offers the best predictive performance on a concrete data downstream-tasks.
Abstract（参考訳）: 大規模言語モデル(LLM)を特定のダウンストリームタスクに適応させる場合、一般的には1つの主要なアプローチが採用される:(1) プロンプトエンジニアリング、しばしばコンテキスト内数ショット学習、モデル固有の一般化能力を活用すること、(2) タスク固有のデータに微調整を行い、モデルのパラメータを直接最適化すること。プロンプトベースのメソッドは、数ショットのシナリオでは優れているが、その有効性はしばしば、より多くのデータが利用可能になるにつれて高められる。逆に、微調整はデータと良好にスケールするが、トレーニング例が不足すると性能が低下する可能性がある。そこで本研究では,この2つのパラダイムをブリッジする統一的なアプローチを,テキスト内学習を直接微調整プロセスに組み込むことにより検討する。具体的には、kショットプロンプトの構造を模倣して、コンテキスト内例を付加したタスク固有データ上でモデルを微調整する。このアプローチは、タスク毎の微調整を必要とする一方で、コンテキスト内学習のサンプル効率と微調整のパフォーマンス向上を組み合わせ、一貫して一致し、これらの基礎線をはるかに上回る方法をもたらす。低データ方式でハイパーパラメータ選択を行うために,高コストなクロスバリデーションの必要性を排除し,堅牢なバリデーション信号を同時に提供しながら,トレーニングに利用可能なすべてのデータを活用することを提案する。我々は、微調整、文脈内学習、あるいは我々の提案した統一的アプローチが、具体的なデータ下流タスク上で最高の予測性能を提供する適応パラダイムを決定するための広範な実証的研究を行う。

論文の概要: Fine-Tuned In-Context Learners for Efficient Adaptation

関連論文リスト