論文の概要: A Closer Look at the Limitations of Instruction Tuning
- arxiv url: http://arxiv.org/abs/2402.05119v3
- Date: Wed, 28 Feb 2024 14:47:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 17:52:36.189500
- Title: A Closer Look at the Limitations of Instruction Tuning
- Title(参考訳): 命令チューニングの限界を詳しく見る
- Authors: Sreyan Ghosh and Chandra Kiran Reddy Evuru and Sonal Kumar and
Ramaneswaran S and Deepali Aneja and Zeyu Jin and Ramani Duraiswami and
Dinesh Manocha
- Abstract要約: インストラクションチューニング(IT)は,大規模言語モデル(LLM)における知識やスキルの向上に失敗することを示す。
また、一般的なIT改善手法は、シンプルなLoRA微調整モデルよりも性能改善につながるものではないことも示している。
この結果から,事前学習した知識のみから生成した応答は,オープンソースデータセット上でITから新たな知識を学習するモデルによって,一貫した応答性能が向上することが判明した。
- 参考スコア(独自算出の注目度): 54.565210478164104
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Instruction Tuning (IT), the process of training large language models (LLMs)
using instruction-response pairs, has emerged as the predominant method for
transforming base pre-trained LLMs into open-domain conversational agents.
While IT has achieved notable success and widespread adoption, its limitations
and shortcomings remain underexplored. In this paper, through rigorous
experiments and an in-depth analysis of the changes LLMs undergo through IT, we
reveal various limitations of IT. In particular, we show that (1) IT fails to
enhance knowledge or skills in LLMs. LoRA fine-tuning is limited to learning
response initiation and style tokens, and full-parameter fine-tuning leads to
knowledge degradation. (2) Copying response patterns from IT datasets derived
from knowledgeable sources leads to a decline in response quality. (3)
Full-parameter fine-tuning increases hallucination by inaccurately borrowing
tokens from conceptually similar instances in the IT dataset for generating
responses. (4) Popular methods to improve IT do not lead to performance
improvements over a simple LoRA fine-tuned model. Our findings reveal that
responses generated solely from pre-trained knowledge consistently outperform
responses by models that learn any form of new knowledge from IT on open-source
datasets. We hope the insights and challenges revealed inspire future work.
- Abstract(参考訳): 命令応答ペアを用いた大規模言語モデル(LLM)の訓練プロセスであるインストラクションチューニング(IT)が,ベースとなる事前学習されたLLMをオープンドメインの会話エージェントに変換する主要な方法として登場した。
顕著な成功と広く採用されているが、その限界と欠点は未検討のままである。
本稿では、厳密な実験と、LLMがITを通して行っている変化の詳細な分析を通して、ITの様々な限界を明らかにする。
特に,(1)llmにおける知識やスキルの向上に失敗していることを示す。
LoRAファインチューニングは学習応答開始とスタイルトークンに限られており、フルパラメータのファインチューニングは知識の劣化につながる。
2)知識ソースから派生したITデータセットからの応答パターンのコピーは,応答品質の低下につながる。
3)全パラメータ細調整は,ITデータセットの概念的に類似したインスタンスからトークンを不正確な借用によって幻覚を増大させる。
(4) IT 改善のための一般的な手法は,シンプルな LoRA 微調整モデルよりも性能改善につながるものではない。
以上の結果から,オープンソースのデータセット上で新たな知識を学習するモデルが,事前学習した知識から生成した応答が,その応答を一貫して上回ることが明らかとなった。
洞察と課題が将来の仕事に刺激を与えてくれることを願っています。
関連論文リスト
- A Comprehensive Study of Knowledge Editing for Large Language Models [83.73538305784763]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳(メタデータ) (2024-01-02T16:54:58Z) - Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs [0.5461938536945721]
大規模言語モデル(LLM)は、事前訓練された重みの中に大量の事実情報をカプセル化する。
この知識は本質的に限られたものであり、トレーニングデータの特徴に大きく依存している。
教師なし微調整と検索拡張生成の2つの一般的なアプローチを比較した。
論文 参考訳(メタデータ) (2023-12-10T16:52:00Z) - Mitigating Large Language Model Hallucinations via Autonomous Knowledge
Graph-based Retrofitting [51.7049140329611]
本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。
実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
論文 参考訳(メタデータ) (2023-11-22T11:08:38Z) - Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。
検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。
SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
論文 参考訳(メタデータ) (2023-10-08T04:22:33Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。
また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
論文 参考訳(メタデータ) (2023-08-21T15:35:16Z) - ActKnow: Active External Knowledge Infusion Learning for Question
Answering in Low Data Regime [7.562843347215286]
知識グラフ(KG)をベースとした「オンデマンド」から質問回答(QA)の学習に積極的に知識を注入する手法を提案する。
我々は、低データ構造におけるRoBERTaのような純粋テキストベースのトランスフォーマーモデルに対して、ARC Challenge-setベンチマークを著しく改善したことを示す。
論文 参考訳(メタデータ) (2021-12-17T10:39:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。