論文の概要: Understanding the Instruction Mixture for Large Language Model
- arxiv url: http://arxiv.org/abs/2312.10793v1
- Date: Sun, 17 Dec 2023 18:44:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 14:32:22.031384
- Title: Understanding the Instruction Mixture for Large Language Model
- Title(参考訳): 大規模言語モデルの命令混合を理解する
- Authors: Renxi Wang, Minghao Wu, Yuxia Wang, Xudong Han, Chiyu Zhang, Haonan Li
- Abstract要約: 本研究では,命令をNLPダウンストリームタスク,コーディング,一般的なチャットの3つのタイプに分類する。
以上の結果から,特定の種類の命令が特定の用途に有用であること,他の側面に害を与える可能性が示唆された。
本研究は, 教示混合物に光を当て, 今後の研究の道を開くものである。
- 参考スコア(独自算出の注目度): 10.287256539816477
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: While instructions fine-tuning of large language models (LLMs) has been
proven to enhance performance across various applications, the influence of the
instruction dataset mixture on LLMs has not been thoroughly explored. In this
study, we classify instructions into three main types: NLP downstream tasks,
coding, and general chatting, and investigate their impact on LLMs. Our
findings reveal that specific types of instructions are more beneficial for
particular uses, while it may cause harms to other aspects, emphasizing the
importance of meticulously designing the instruction mixture to maximize model
performance. This study sheds light on the instruction mixture and paves the
way for future research.
- Abstract(参考訳): 大規模言語モデル(LLM)の微調整は様々なアプリケーションで性能を向上させることが証明されているが、LLMに対する命令データセットの混合の影響は十分に調べられていない。
本研究では,命令をNLPダウンストリームタスク,コーディング,一般的なチャットの3つのタイプに分類し,LLMへの影響について検討する。
本研究は,特定の命令が特定の用途に有用であることを明らかにするとともに,モデルの性能を最大化するために,命令を巧みに設計することの重要性を強調した。
本研究は, 命令混合に光を当て, 今後の研究への道を開く。
関連論文リスト
- Don't Half-listen: Capturing Key-part Information in Continual Instruction Tuning [13.535110749767451]
キーパート情報ゲイン(KPIG)に基づく新しい連続的命令チューニング手法を提案する。
本手法は,マスク部分の情報ゲインを計算し,データを動的に再生し,トレーニング対象を洗練させる。
実験により,本手法は観察タスクと保留タスクの両方において優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2024-03-15T06:54:20Z) - Fine-tuning Large Language Models with Sequential Instructions [2.8967653906025426]
大きな言語モデル(LLM)は、その一部を無視したり誤解させたりするため、単一のクエリで命令列に従うのに苦労する。
本稿では,命令処理データを自動的に拡張し,複数の逐次命令を実行する能力を備えたLCMを装備するシーケンシャル命令チューニング手法を提案する。
逐次的命令調整モデルは、推論、多言語、マルチモーダル能力を含む下流タスクにおいて、従来の命令調整ベースラインを一貫して上回ります。
論文 参考訳(メタデータ) (2024-03-12T16:33:30Z) - INSTRAUG: Automatic Instruction Augmentation for Multimodal Instruction
Fine-tuning [28.667060630303183]
本研究では,マルチモーダルタスクにおいて,INSTRAUGという自動命令拡張手法を導入する。
2つの人気のあるマルチモーダル命令フォローベンチマークの結果、INSTRAUGは12のマルチモーダルタスク間でのMLLM(Multimodal Large Language Model)のアライメントを大幅に改善できることが示された。
論文 参考訳(メタデータ) (2024-02-22T12:35:50Z) - Contrastive Instruction Tuning [66.6226795160117]
本稿では,意味論的に等価な命令-インスタンスペアの隠れ表現の類似性を最大化するコントラスト的命令チューニングを提案する。
PromptBenchベンチマークの実験によると、CoINはLLMの頑健さを一貫して改善し、文字、単語、文、意味のレベルを平均して2.5%の精度で変化させる。
論文 参考訳(メタデータ) (2024-02-17T00:09:32Z) - INTERS: Unlocking the Power of Large Language Models in Search with
Instruction Tuning [59.07490387145391]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。
情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。
我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
論文 参考訳(メタデータ) (2024-01-12T12:10:28Z) - Speak Like a Native: Prompting Large Language Models in a Native Style [53.84738665918496]
In-context Learning (ICL) with large language model (LLMs) は、多くの自然言語処理タスクにおいて近代的なツールとなっている。
本稿では, LLMの推論能力を向上させるために, textbfAlignedCoT という新しい効果的手法を提案する。
数学的質問答え、常識的推論、テキスト理解に関するいくつかのベンチマークにおいて、広範囲かつ包括的な実験を行う。
論文 参考訳(メタデータ) (2023-11-22T17:24:21Z) - From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。
次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。
この結果から,指導指導の3つの重要な影響が明らかになった。
論文 参考訳(メタデータ) (2023-09-30T21:16:05Z) - Instruction Position Matters in Sequence Generation with Large Language
Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。
入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文 参考訳(メタデータ) (2023-08-23T12:36:57Z) - Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for
Large Language Models [125.91897197446379]
MoEモデルは高密度モデルよりも命令チューニングの恩恵を受ける。
我々の最も強力なモデルであるFLAN-MOE-32Bは、4つのベンチマークタスクにおけるFLAN-PALM-62Bの性能を上回る。
論文 参考訳(メタデータ) (2023-05-24T04:22:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。