論文の概要: Teaching LLMs How to Learn with Contextual Fine-Tuning

• arxiv url: http://arxiv.org/abs/2503.09032v1
• Date: Wed, 12 Mar 2025 03:45:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:40:55.471561
• Title: Teaching LLMs How to Learn with Contextual Fine-Tuning
• Title（参考訳）: LLMがコンテキストファインチューニングで学ぶ方法を教える
• Authors: Younwoo Choi, Muhammad Adil Asif, Ziwen Han, John Willes, Rahul G. Krishnan,
• Abstract要約: 我々は、文脈微調整(contextual fine-tuning)と呼ばれる命令チューニングの新しい一般化について研究する。 我々は、このシンプルで効果的な修正によって、新しいデータセット上で高速に微調整できるLLMの能力が向上することが実証的に実証された。
• 参考スコア（独自算出の注目度）: 9.26781270726841
• License:
• Abstract: Prompting Large Language Models (LLMs), or providing context on the expected model of operation, is an effective way to steer the outputs of such models to satisfy human desiderata after they have been trained. But in rapidly evolving domains, there is often need to fine-tune LLMs to improve either the kind of knowledge in their memory or their abilities to perform open ended reasoning in new domains. When human's learn new concepts, we often do so by linking the new material that we are studying to concepts we have already learned before. To that end, we ask, "can prompting help us teach LLMs how to learn". In this work, we study a novel generalization of instruction tuning, called contextual fine-tuning, to fine-tune LLMs. Our method leverages instructional prompts designed to mimic human cognitive strategies in learning and problem-solving to guide the learning process during training, aiming to improve the model's interpretation and understanding of domain-specific knowledge. We empirically demonstrate that this simple yet effective modification improves the ability of LLMs to be fine-tuned rapidly on new datasets both within the medical and financial domains.
• Abstract（参考訳）: Prompting Large Language Models (LLMs) は、人間のデシラタを訓練後に満足させるために、これらのモデルの出力を制御するための効果的な方法である。 しかし、急速に進化するドメインでは、メモリ内の知識の種類や、新しいドメインでオープンエンド推論を実行する能力を改善するために、LSMを微調整する必要があることが多い。 人間が新しい概念を学ぶとき、私たちはしばしば、私たちが以前に学んだ概念に研究している新しい物質をリンクすることでそうします。 そのために私たちは,“LLMに学習の仕方を教えてくれる”,と尋ねる。 本研究では、文脈微調整(contextual fine-tuning)と呼ばれる命令調律の新しい一般化について研究する。 本手法は,学習と問題解決において,人間の認知戦略を模倣する指導的プロンプトを活用し,学習過程を指導し,ドメイン固有の知識の解釈と理解を改善することを目的としている。 我々は、このシンプルで効果的な修正によって、医療分野と金融分野の両方で、新しいデータセット上でLLMを迅速に微調整できる能力が向上することが実証的に実証された。

関連論文リスト

• Refine Knowledge of Large Language Models via Adaptive Contrastive Learning [54.61213933999464]
  方法の主流は、大規模言語モデルの知識表現を最適化することで幻覚を減らすことである。 知識を精錬するモデルのプロセスは、人間の学習方法から大きな恩恵を受けることができると私たちは信じています。 人間の学習過程を模倣することで,適応的コントラスト学習戦略を設計する。
  論文  参考訳（メタデータ） (2025-02-11T02:19:13Z)
• WisdomBot: Tuning Large Language Models with Artificial Intelligence Knowledge [17.74988145184004]
  大規模言語モデル(LLM)は自然言語処理(NLP)の強力なツールとして登場した。 本稿では,LLMの力と教育理論を組み合わせた,WisdomBotという教育用LLMについて述べる。 本稿では,推論中の2つの重要な拡張,すなわち,ローカル知識ベース検索の強化と,推論中の検索エンジン検索の強化を紹介する。
  論文  参考訳（メタデータ） (2025-01-22T13:36:46Z)
• Self-Tuning: Instructing LLMs to Effectively Acquire New Knowledge through Self-Teaching [67.11497198002165]
  大規模言語モデル(LLM)は最新の情報の提供に苦慮することが多い。 既存のアプローチは、通常、新しいドキュメントのトレーニングを継続する。 効率的なヒューマンラーニングにおけるFeynman Techniqueの成功に感銘を受けて、セルフチューニングを紹介した。
  論文  参考訳（メタデータ） (2024-06-10T14:42:20Z)
• Learning Beyond Pattern Matching? Assaying Mathematical Understanding in LLMs [58.09253149867228]
  本稿では,LLMのドメイン知識を,問題解決に必要な数学的スキルの理解を通じて評価する。 汎用科学アシスタントとしてLLMを用いることで, LLMの確率分布の変化を評価するためにtextitNTKEvalを提案する。 系統的な分析では、文脈内学習中にドメイン理解の証拠が見つかる。 ある命令チューニングは、異なるデータでのトレーニングに関係なく、同様のパフォーマンス変化をもたらし、異なるスキルに対するドメイン理解の欠如を示唆している。
  論文  参考訳（メタデータ） (2024-05-24T12:04:54Z)
• Continual Learning for Large Language Models: A Survey [95.79977915131145]
  大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。 本稿では,LLMの連続学習に関する最近の研究について述べる。
  論文  参考訳（メタデータ） (2024-02-02T12:34:09Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Distilling Rule-based Knowledge into Large Language Models [90.7765003679106]
  私たちは、人間がルールから学習することで、新しいタスクや知識を別の方法で学習できることにインスピレーションを受けています。 まず, LLMの強い文脈内能力を用いて, テキスト規則から知識を抽出する規則蒸留法を提案する。 実験の結果, LLMをルールから学習させることは, サンプルサイズと一般化能力の両方において, サンプルベース学習よりもはるかに効率的であることがわかった。
  論文  参考訳（メタデータ） (2023-11-15T11:42:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。