論文の概要: Fine-tuning Large Language Models with Human-inspired Learning Strategies in Medical Question Answering
- arxiv url: http://arxiv.org/abs/2408.07888v1
- Date: Thu, 15 Aug 2024 02:22:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-16 15:19:12.813535
- Title: Fine-tuning Large Language Models with Human-inspired Learning Strategies in Medical Question Answering
- Title（参考訳）: 医療質問応答における人間に触発された学習方略を用いた微調整大言語モデル
- Authors: Yushi Yang, Andrew M. Bean, Robert McCraith, Adam Mahdi,
- Abstract要約: 大規模言語モデルのトレーニングは、データ関連のかなりのコストを発生させる。
カリキュラムベースの学習戦略と非カリキュラムベースの学習戦略の両方を評価することで、これまでの研究を拡張した。
この結果から,人間に触発された学習戦略を微調整 LLM に適用した場合の適度な影響が示唆された。
- 参考スコア（独自算出の注目度）: 1.912429179274357
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training Large Language Models (LLMs) incurs substantial data-related costs, motivating the development of data-efficient training methods through optimised data ordering and selection. Human-inspired learning strategies, such as curriculum learning, offer possibilities for efficient training by organising data according to common human learning practices. Despite evidence that fine-tuning with curriculum learning improves the performance of LLMs for natural language understanding tasks, its effectiveness is typically assessed using a single model. In this work, we extend previous research by evaluating both curriculum-based and non-curriculum-based learning strategies across multiple LLMs, using human-defined and automated data labels for medical question answering. Our results indicate a moderate impact of using human-inspired learning strategies for fine-tuning LLMs, with maximum accuracy gains of 1.77% per model and 1.81% per dataset. Crucially, we demonstrate that the effectiveness of these strategies varies significantly across different model-dataset combinations, emphasising that the benefits of a specific human-inspired strategy for fine-tuning LLMs do not generalise. Additionally, we find evidence that curriculum learning using LLM-defined question difficulty outperforms human-defined difficulty, highlighting the potential of using model-generated measures for optimal curriculum design.
- Abstract（参考訳）: LLM(Large Language Models)のトレーニングは、データ注文と選択を最適化することで、データ効率のよいトレーニング手法の開発を動機付け、データ関連のかなりのコストを発生させる。
カリキュラム学習のような人間にインスパイアされた学習戦略は、一般的な人間の学習実践に従ってデータを整理することで、効率的なトレーニングを行う可能性を提供する。
カリキュラム学習による微調整が自然言語理解タスクにおけるLLMの性能を向上させるという証拠があるが、その効果は典型的には1つのモデルを用いて評価される。
本研究では,複数のLSMを対象としたカリキュラムベースおよび非カリキュラムベースの学習戦略を,医療質問応答のための人為的および自動化されたデータラベルを用いて評価することにより,これまでの研究を拡張した。
この結果から,人間にインスパイアされた学習戦略を微調整 LLM に適用することで,モデル毎の最大精度が1.77%,データセット毎の1.81% に達することが示唆された。
重要なことは、これらの戦略の有効性がモデル・データセットの組み合わせによって大きく異なることを示し、微調整 LLM に対する特定の人間にインスパイアされた戦略の利点が一般化しないことを強調している。
さらに, LLM を用いたカリキュラム学習は, 最適カリキュラム設計のためのモデル生成手法の活用の可能性を強調し, 人間の定義した難易度よりも優れていることを示す。
関連論文リスト
- Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。
動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。
当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
論文 参考訳（メタデータ） (2025-02-10T17:57:15Z) - Feasible Learning [78.6167929413604]
本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。
大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
論文 参考訳（メタデータ） (2025-01-24T20:39:38Z) - Data Assetization via Resources-decoupled Federated Learning [7.347554648348435]
フェデレートラーニング(FL)は、プライバシーを維持しながら協調トレーニングモデルに効果的なアプローチを提供する。
まず,3つの関係者を巻き込んだ資源分離FLの枠組みを提案する。
次に,QD-RDFL(Quality-Aware Dynamic Resources-Decoupled FL Algorithm)を提案する。
論文 参考訳（メタデータ） (2025-01-24T15:49:04Z) - Optimizing LLMs with Direct Preferences: A Data Efficiency Perspective [4.548047308860141]
本研究では,異なる種類の嗜好データがモデル性能に与える影響について検討する。
収集に費用がかかる大量の好みデータへの依存を減らすことを目的としている。
論文 参考訳（メタデータ） (2024-10-22T00:11:41Z) - IterSelectTune: An Iterative Training Framework for Efficient Instruction-Tuning Data Selection [28.581257601441045]
高品質な命令データを選択するための効率的で費用対効果の高い反復的トレーニングポリシーである$textbfIterSelectTune$を紹介した。
ソースデータの約20%を微調整することで、本手法は、全データセット上で調整されたモデルよりも一貫して優れる。
論文 参考訳（メタデータ） (2024-10-17T11:48:57Z) - Enhancing SLM via ChatGPT and Dataset Augmentation [0.3844771221441211]
我々は,大言語モデル (LLMs) と小言語モデル (SLMs) のパフォーマンスギャップを埋めるために,知識蒸留技術と合成データセット拡張を用いている。
提案手法は,情報抽出と情報推論という2種類の理性生成を伴い,ANLIデータセットを充実させる。
その結果, 合成合理化によって自然言語の理解能力が向上し, ANLIデータセット上での分類精度が1.3%, 2.3%向上することが判明した。
論文 参考訳（メタデータ） (2024-09-19T09:24:36Z) - Unpacking DPO and PPO: Disentangling Best Practices for Learning from Preference Feedback [110.16220825629749]
嗜好フィードバックからの学習は、現代言語モデルの生成品質と性能を改善するための重要なステップとして現れてきた。
本研究では、嗜好データ、学習アルゴリズム、報酬モデル、政策訓練プロンプトという、嗜好に基づく学習の4つの側面を特定する。
以上の結果から,すべての側面がパフォーマンス上重要であることが示唆された。
論文 参考訳（メタデータ） (2024-06-13T16:17:21Z) - ChatGPT Based Data Augmentation for Improved Parameter-Efficient Debiasing of LLMs [65.9625653425636]
大型言語モデル(LLM)は有害な社会的バイアスを示す。
そこで本研究では,ChatGPTを用いて合成学習データを生成する手法を提案する。
論文 参考訳（メタデータ） (2024-02-19T01:28:48Z) - How to Train Data-Efficient LLMs [56.41105687693619]
事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。
Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。
何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
論文 参考訳（メタデータ） (2024-02-15T02:27:57Z) - LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳（メタデータ） (2024-02-06T19:18:04Z) - Scalable and Equitable Math Problem Solving Strategy Prediction in Big
Educational Data [2.86829428083307]
我々はMVecと呼ばれる埋め込みを開発し、学生の熟達度に基づいて表現を学習する。
次に、これらの埋め込みを非パラメトリッククラスタリング法でクラスタ化する。
提案手法は,大規模データセットの小さなサンプルをトレーニングすることで,高精度にスケールアップ可能であることを示す。
論文 参考訳（メタデータ） (2023-08-07T19:51:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。