Fugu-MT 論文翻訳(概要): Dr. LLaMA: Improving Small Language Models in Domain-Specific QA via Generative Data Augmentation

論文の概要: Dr. LLaMA: Improving Small Language Models in Domain-Specific QA via Generative Data Augmentation

arxiv url: http://arxiv.org/abs/2305.07804v1
Date: Fri, 12 May 2023 23:49:23 GMT
ステータス: 処理完了
システム内更新日: 2023-05-16 19:37:14.139029
Title: Dr. LLaMA: Improving Small Language Models in Domain-Specific QA via Generative Data Augmentation
Title（参考訳）: LLaMA博士:生成データ拡張によるドメイン特化QAにおける小言語モデルの改善
Authors: Zhen Guo, Peiqi Wang, Yanwei Wang, Shangdi Yu
Abstract要約: 大規模言語モデル(LLM)は自然言語処理において大きな進歩を遂げてきたが、計算コストと非効率性の点で課題に直面している。小言語モデル(SLM)は、限られた能力と訓練データのために、これらのタスクでしばしば苦労する。 LLaMA は LLM を用いた生成データ拡張による SLM の改善手法である。
参考スコア（独自算出の注目度）: 4.96649519549027
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have made significant strides in natural language processing but face challenges in terms of computational expense and inefficiency as they grow in size, especially in domain-specific tasks. Small Language Models (SLMs), on the other hand, often struggle in these tasks due to limited capacity and training data. In this paper, we introduce Dr. LLaMA, a method for improving SLMs through generative data augmentation using LLMs, focusing on medical question-answering tasks and the PubMedQA dataset. Our findings indicate that LLMs effectively refine and diversify existing question-answer pairs, resulting in improved performance of a much smaller model on domain-specific QA datasets after fine-tuning. This study highlights the challenges of using LLMs for domain-specific question answering and suggests potential research directions to address these limitations, ultimately aiming to create more efficient and capable models for specialized applications. We have also made our code available for interested researchers
Abstract（参考訳）: 大規模言語モデル(llm)は自然言語処理において大きな進歩を遂げてきたが、特にドメイン固有のタスクにおいて、サイズが大きくなるにつれて計算コストと非効率の面での課題に直面している。一方、Small Language Models (SLM) は、限られた能力と訓練データのために、これらのタスクに苦労することが多い。本稿では, LLMを用いた生成データ拡張によるSLMの改善手法であるDr. LLaMAを紹介し, 医療質問応答タスクとPubMedQAデータセットに着目した。その結果,LLMは既存の問合せペアを効果的に洗練・多様化し,微調整後のドメイン固有QAデータセット上でのより小さなモデルの性能を向上させることができた。本研究は、ドメイン固有の質問応答にLLMを使うことの課題を強調し、これらの制限に対処するための潜在的研究の方向性を提案する。興味のある研究者にもコードを公開しました

関連論文リスト

Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
本研究では,大規模言語モデル (LLM) を用いて予測モデルの事前分布を推定する手法を提案する。本研究では,LLMがパラメータ分布を真に生成するかどうかを評価するとともに,文脈内学習と事前推論のためのモデル選択戦略を提案する。その結果,LLMによる事前パラメータ分布は,低データ設定における非形式的先行よりも予測誤差を著しく低減することがわかった。
論文参考訳（メタデータ） (2024-11-26T10:13:39Z)
Enhancing SLM via ChatGPT and Dataset Augmentation [0.3844771221441211]
我々は,大言語モデル (LLMs) と小言語モデル (SLMs) のパフォーマンスギャップを埋めるために,知識蒸留技術と合成データセット拡張を用いている。提案手法は,情報抽出と情報推論という2種類の理性生成を伴い,ANLIデータセットを充実させる。その結果, 合成合理化によって自然言語の理解能力が向上し, ANLIデータセット上での分類精度が1.3%, 2.3%向上することが判明した。
論文参考訳（メタデータ） (2024-09-19T09:24:36Z)
Parameter Efficient Diverse Paraphrase Generation Using Sequence-Level Knowledge Distillation [0.0]
自然言語生成(NLG)の分野は、主にLarge Language Models(LLM)の導入により、急激な急増を経験した。これらのモデルは、自然言語処理および生成ドメイン内の様々な領域において、最も効果的なパフォーマンスを示してきた。しかし、パラフレージングのようなドメイン固有のタスクへの応用は、重大な課題を提示している。
論文参考訳（メタデータ） (2024-04-19T02:59:09Z)
Data Augmentation using Large Language Models: Data Perspectives, Learning Paradigms and Challenges [47.45993726498343]
データ強化(DA)は、データ収集を必要とせずにトレーニング例を多様化することにより、モデルパフォーマンスを向上させる重要な手法として登場した。本調査では,大規模言語モデル(LLM)がDAに与える影響,特に自然言語処理(NLP)以降の文脈において,それらが持つ固有の課題と機会に対処する。
論文参考訳（メタデータ） (2024-03-05T14:11:54Z)
ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs [60.81649785463651]
ExaRanker-Openを導入し、オープンソース言語モデルを適用して、説明を生成する。以上の結果から,LLMのサイズが大きくなるにつれて,説明の組み込みが神経ランク付けを継続的に促進することが明らかとなった。
論文参考訳（メタデータ） (2024-02-09T11:23:14Z)
Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文参考訳（メタデータ） (2024-02-05T08:25:22Z)
LLM Augmented LLMs: Expanding Capabilities through Composition [56.40953749310957]
CALM -- 言語モデルの拡張のための構成 -- は、モデル間の相互アテンションを導入して、表現を構成し、新しい機能を有効にする。低リソース言語で訓練されたより小さなモデルでPaLM2-Sを増強すると、英語への翻訳のようなタスクで最大13%の改善が達成される。 PaLM2-Sがコード固有モデルで拡張されると、コード生成や説明タスクのベースモデルよりも40%向上する。
論文参考訳（メタデータ） (2024-01-04T18:53:01Z)
The Truth is in There: Improving Reasoning in Language Models with Layer-Selective Rank Reduction [22.659005954676598]
重み行列の高次成分を選択的に除去することにより,大規模言語モデルの性能を大幅に向上させることができることを示す。 LAER(Layer-Selective Rank reduction)と呼ばれるこの単純な介入は、トレーニングが完了した後、モデル上で行うことができる。言語モデルとデータセットにまたがって、この発見の汎用性を実証する広範な実験を示す。
論文参考訳（メタデータ） (2023-12-21T03:51:08Z)
Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
論文参考訳（メタデータ） (2023-10-24T07:58:20Z)
Large Language Models as Data Preprocessors [9.99065004972981]
大規模言語モデル (LLM) は人工知能において大きな進歩を遂げている。本研究では、データマイニングおよび分析アプリケーションにおいて重要な段階である、データ前処理におけるその可能性について検討する。我々は,最先端のプロンプトエンジニアリング技術を統合したデータ前処理のためのLLMベースのフレームワークを提案する。
論文参考訳（メタデータ） (2023-08-30T23:28:43Z)
To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文参考訳（メタデータ） (2023-05-22T17:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。