論文の概要: Exploring Format Consistency for Instruction Tuning
- arxiv url: http://arxiv.org/abs/2307.15504v2
- Date: Mon, 8 Jan 2024 13:26:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 23:24:37.915442
- Title: Exploring Format Consistency for Instruction Tuning
- Title(参考訳): 命令チューニングのためのフォーマット一貫性の探求
- Authors: Shihao Liang, Runchu Tian, Kunlun Zhu, Yujia Qin, Huadong Wang, Xin
Cong, Zhiyuan Liu, Xiaojiang Liu, Maosong Sun
- Abstract要約: 本研究では,Unified Instruction Tuning (UIT) というフレームワークを提案する。
UITはOpenAI APIを呼び出し、PromptSource、FLAN、CrossFitといったさまざまなインストラクションチューニングデータセット間で自動フォーマット転送を行う。
提案手法では,T5-LM-xlにおける未知命令の一般化性能の向上と,自動フォーマット転送のノイズを低減するために,新しいパープレキシティに基づくデノナイジング手法を提案する。
- 参考スコア(独自算出の注目度): 79.0698403613366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Instruction tuning has emerged as a promising approach to enhancing large
language models in following human instructions. It is shown that increasing
the diversity and number of instructions in the training data can consistently
enhance generalization performance, which facilitates a recent endeavor to
collect various instructions and integrate existing instruction tuning datasets
into larger collections. However, different users have their unique ways of
expressing instructions, and there often exist variations across different
datasets in the instruction styles and formats, i.e., format inconsistency. In
this work, we propose a framework named Unified Instruction Tuning (UIT), which
calls OpenAI APIs for automatic format transfer among different instruction
tuning datasets such as PromptSource, FLAN and CrossFit. With the framework, we
(1) demonstrate the necessity of maintaining format consistency in instruction
tuning; (2) improve the generalization performance on unseen instructions on
T5-LM-xl; (3) provide a novel perplexity-based denoising method to reduce the
noise of automatic format transfer to make the UIT framework more practical and
a smaller offline model based on GPT-J that achieves comparable format transfer
capability to OpenAI APIs to reduce costs in practice. Further analysis
regarding variations of targeted formats and other effects is intended.
- Abstract(参考訳): 命令チューニングは、人間の指示に従う大きな言語モデルを強化するための有望なアプローチとして現れてきた。
トレーニングデータにおける多様性と命令数の増加は、連続的に一般化性能を高め、最近の取り組みにより、様々な命令を収集し、既存の命令チューニングデータセットをより大きなコレクションに統合することが可能になる。
しかし、異なるユーザは独自の命令の表現方法を持っており、命令スタイルやフォーマット、すなわちフォーマットの矛盾など、さまざまなデータセットにまたがるバリエーションが存在することが多い。
本稿では,PromptSourceやFLAN,CrossFitなど,さまざまな命令チューニングデータセット間で,OpenAI APIを自動フォーマット転送するためのフレームワークとして,Unified Instruction Tuning (UIT)を提案する。
本フレームワークでは,(1) 命令チューニングにおけるフォーマット整合性の維持の必要性,(2) T5-LM-xl の未確認命令に対する一般化性能の向上,(3) 自動フォーマット転送のノイズを低減し,UIT フレームワークをより実用的にし,また GPT-J をベースとしたより小さなオフラインモデルを提供することにより,OpenAI API に匹敵するフォーマット転送能力を実現し,コスト削減を実現している。
ターゲットフォーマットのバリエーションや他の効果に関するさらなる分析が意図されている。
関連論文リスト
- UniSparse: An Intermediate Language for General Sparse Format
Customization [13.132033187592349]
スパースフォーマットの表現とカスタマイズを統一した抽象化を提供する中間言語であるUniSparseを提案する。
既存の属性ベースのフレームワークとは異なり、UniSparseはスパーステンソルの論理的表現を低レベルメモリレイアウトから切り離す。
結果として、リッチなフォーマットのカスタマイズは、明確に定義されたクエリ、突然変異、レイアウトプリミティブの小さなセットで簡潔に表現できる。
論文 参考訳(メタデータ) (2024-03-09T05:38:45Z) - Contrastive Instruction Tuning [66.6226795160117]
本稿では,意味論的に等価な命令-インスタンスペアの隠れ表現の類似性を最大化するコントラスト的命令チューニングを提案する。
PromptBenchベンチマークの実験によると、CoINはLLMの頑健さを一貫して改善し、文字、単語、文、意味のレベルを平均して2.5%の精度で変化させる。
論文 参考訳(メタデータ) (2024-02-17T00:09:32Z) - Demystifying Instruction Mixing for Fine-tuning Large Language Models [29.69436955342966]
本研究は,NLPダウンストリームタスク,コーディング,一般的なチャットという,命令を3つの主要なタイプに分類する。
特定の命令型は特定のアプリケーションに対してより有利であるが、他の領域に悪影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2023-12-17T18:44:26Z) - ICLEF: In-Context Learning with Expert Feedback for Explainable Style
Transfer [24.046784201078292]
本稿では,ChatGPTのモデル蒸留による説明により,形式性スタイルの転送データセットを拡張・改善するためのフレームワークを提案する。
我々は9,960個の説明可能なフォーマルなスタイル転送インスタンス(e-AFCGY)のデータセットを用いて、現在のオープン分散命令チューニングモデルがタスクに対して不十分であることを示す。
人間の評価では、データに微調整されたChatGPTよりもはるかに小さいモデルが、専門家の好みとよく一致していることが示される。
論文 参考訳(メタデータ) (2023-09-15T17:41:14Z) - Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for
Large Language Models [125.91897197446379]
MoEモデルは高密度モデルよりも命令チューニングの恩恵を受ける。
我々の最も強力なモデルであるFLAN-MOE-32Bは、4つのベンチマークタスクにおけるFLAN-PALM-62Bの性能を上回る。
論文 参考訳(メタデータ) (2023-05-24T04:22:26Z) - Dynosaur: A Dynamic Growth Paradigm for Instruction-Tuning Data Curation [92.2167864437497]
インストラクションチューニングデータの自動キュレーションのための動的成長パラダイムであるDynosaurを提案する。
既存のデータセットのメタデータに基づいて、LLMを使用して、関連するデータフィールドを特定し、適切な命令を生成することで、命令調整データを自動的に構築する。
既存のアノテートデータセットを活用することで、Dynosaurには、命令を生成するためのAPIコストを削減すること、命令チューニングのための高品質なデータを提供すること、新しいアノテートデータセットが利用可能になったときに、命令チューニングデータを生成することで、モデルの継続的な改善をサポートすること、など、いくつかのメリットがある。
論文 参考訳(メタデータ) (2023-05-23T17:56:26Z) - Gradient-Regulated Meta-Prompt Learning for Generalizable
Vision-Language Models [137.74524357614285]
グラディエント・レグルアテッドメタプロンプト学習フレームワークについて紹介する。
パラメーターとデータ -- 効率的な方法で下流タスクにモデルを適応させるのに役立つ。
GRAMはモデルに依存しない方法で様々なプロンプトチューニング手法に容易に組み込むことができる。
論文 参考訳(メタデータ) (2023-03-12T05:03:37Z) - Meta-Learning the Difference: Preparing Large Language Models for
Efficient Adaptation [11.960178399478718]
大規模な事前訓練言語モデル(PLM)は、しばしば細調整やプロンプトによってドメインまたはタスク適応される。
その代わりに、一般と適応のPLMの違いを学習することで、データおよびパラメータ効率の適応のためのPLMを作成する。
論文 参考訳(メタデータ) (2022-07-07T18:00:22Z) - GrIPS: Gradient-free, Edit-based Instruction Search for Prompting Large
Language Models [80.03815493269522]
GrIPSは、大規模言語モデルのタスク命令を改善するための、勾配のない編集ベースの検索手法である。
InstructGPTモデルでは、GrIPSは8つの分類タスクの平均タスク性能を最大4.30ポイント改善する。
編集は命令を単純化し、時には不整合化しますが、それでも精度は向上します。
論文 参考訳(メタデータ) (2022-03-14T16:54:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。