論文の概要: Instruction-following Evaluation through Verbalizer Manipulation
- arxiv url: http://arxiv.org/abs/2307.10558v1
- Date: Thu, 20 Jul 2023 03:54:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-21 15:01:03.995971
- Title: Instruction-following Evaluation through Verbalizer Manipulation
- Title(参考訳): 動詞操作による命令追従評価
- Authors: Shiyang Li, Jun Yan, Hai Wang, Zheng Tang, Xiang Ren, Vijay
Srinivasan, Hongxia Jin
- Abstract要約: 本稿では,動詞操作と呼ばれる新しい指示追従評価プロトコルを提案する。
モデルにタスクラベルを、異なる範囲のモデル先行と整合した単語で言語化するように指示する。
異なる家族や規模にわたるモデルの指示追従能力は、より自然な話し手の性能によって著しく異なることが観察された。
- 参考スコア(独自算出の注目度): 63.88161489037844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While instruction-tuned models have shown remarkable success in various
natural language processing tasks, accurately evaluating their ability to
follow instructions remains challenging. Existing benchmarks primarily focus on
common instructions that align well with what the model learned during
training. However, proficiency in responding to these instructions does not
necessarily imply strong ability in instruction following. In this paper, we
propose a novel instruction-following evaluation protocol called verbalizer
manipulation. It instructs the model to verbalize the task label with words
aligning with model priors to different extents, adopting verbalizers from
highly aligned (e.g., outputting ``postive'' for positive sentiment), to
minimally aligned (e.g., outputting ``negative'' for positive sentiment).
Verbalizer manipulation can be seamlessly integrated with any classification
benchmark to examine the model's reliance on priors and its ability to override
them to accurately follow the instructions. We conduct a comprehensive
evaluation of four major model families across nine datasets, employing twelve
sets of verbalizers for each of them. We observe that the instruction-following
abilities of models, across different families and scales, are significantly
distinguished by their performance on less natural verbalizers. Even the
strongest GPT-4 model struggles to perform better than random guessing on the
most challenging verbalizer, emphasizing the need for continued advancements to
improve their instruction-following abilities.
- Abstract(参考訳): 命令調整型モデルは様々な自然言語処理タスクで顕著に成功したが、命令に従う能力の正確な評価は依然として難しい。
既存のベンチマークは主に、トレーニング中にモデルが学んだこととよく一致する一般的な命令に焦点を当てています。
しかし、これらの指示に応答する能力は、必ずしも命令追従の強い能力を意味するとは限らない。
本稿では,動詞操作と呼ばれる新しい指示追従評価プロトコルを提案する。
タスクラベルを、モデル先行と異なる程度に整合した単語で動詞化し、高い整合性(例えば、肯定的な感情に ``postive'' を出力する)から最小整合性(例えば、肯定的な感情に `` negative'' を出力する)の言語化を指示する。
バーバリザの操作は、任意の分類ベンチマークとシームレスに統合して、モデルの事前依存性と、それらをオーバーライドして正確に指示に従う能力を調べることができる。
我々は、9つのデータセットにまたがる4つの主要なモデルファミリーを包括的に評価し、それぞれに12組の発声器を用いる。
我々は,異なる家族や規模にわたるモデルの指示追従能力が,より自然な言語化能力の低下によって著しく異なることを観察した。
最強のGPT-4モデルでさえ、最も難易度の高い動詞をランダムに推測するよりも優れた性能を発揮するのに苦労している。
関連論文リスト
- Instructive Decoding: Instruction-Tuned Large Language Models are
Self-Refiner from Noisy Instructions [26.192531184689763]
本稿では,インストラクティブ・デコーディング(Instructive Decoding, ID)を提案する。
IDは、元の命令の操作されたバージョンから生成された予測を利用して、逆方向の予測のためにロジットを調整する。
ランダムな単語を介して意味的ノイズを挿入するものから、逸脱した応答を誘発する「オポジット」のような他のものまで、このようなノイズの多い命令のスペクトルにわたって実験を行う。
論文 参考訳(メタデータ) (2023-11-01T02:31:35Z) - Instruction Position Matters in Sequence Generation with Large Language
Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。
入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文 参考訳(メタデータ) (2023-08-23T12:36:57Z) - Evaluating the Zero-shot Robustness of Instruction-tuned Language Models [23.488398944358643]
新規な(観測されていない)が適切な命令表現を用いることで、モデル性能は一貫して低下することがわかった。
本稿では,ソフトプロンプトの埋め込みパラメータを導入することで,この問題を軽減するための簡単な手法を提案する。
本手法は命令調整モデルのロバスト性を常に改善することを示す。
論文 参考訳(メタデータ) (2023-06-20T03:48:51Z) - Entailment as Robust Self-Learner [14.86757876218415]
我々は、複数の異なるNLUタスクを文脈的エンターテイメントとして定式化するプロンプト戦略を設計する。
自己学習における擬似ラベル品質向上のための簡易擬似ラベル編集(SimPLE)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-05-26T18:41:23Z) - Self-Instruct: Aligning Language Models with Self-Generated Instructions [76.42871502364697]
Self-Instructは、事前訓練された言語モデルの命令フォロー機能を改善するためのフレームワークである。
私たちのパイプラインは、言語モデルから命令、入力、および出力のサンプルを生成し、その後、元のモデルを微調整するためにそれらを使用する前に、無効または類似のサンプルをフィルタします。
さらなる評価のために、新規タスクのエキスパートによる指示のセットをキュレートし、GPT3とセルフインストラクトのチューニングが既存の公開インストラクションデータセットを大きなマージンで向上することを示す。
論文 参考訳(メタデータ) (2022-12-20T18:59:19Z) - Effective Cross-Task Transfer Learning for Explainable Natural Language
Inference with T5 [50.574918785575655]
2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。
この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
論文 参考訳(メタデータ) (2022-10-31T13:26:08Z) - Learning Action Conditions from Instructional Manuals for Instruction
Understanding [30.68386372080192]
本稿では,行動条件推論というタスクを提案し,命令マニュアルにおける行動条件の事前条件と後条件の高品質なアノテートデータセットを収集する。
本稿では,オンライン指導マニュアルから大規模トレーニングインスタンスを自動構築する弱い教師付きアプローチを提案し,人間に注釈を付けて検証したデータセットをキュレートし,現在のNLPモデルが命令テキストの動作条件依存性をいかに推測できるかを検証した。
論文 参考訳(メタデータ) (2022-05-25T00:19:59Z) - Skill Induction and Planning with Latent Language [94.55783888325165]
我々は、ゴールがハイレベルなサブタスク記述のシーケンスを生成するアクションシーケンスの生成モデルを定式化する。
本稿では、このモデルを、主に注釈のないデモを用いて、名前付きハイレベルなサブタスクのシーケンスに解析する方法について述べる。
訓練されたモデルでは、自然言語コマンドの空間はスキルのライブラリを索引付けする;エージェントはこれらのスキルを使って、新しい目標に適した高いレベルの命令シーケンスを生成する。
論文 参考訳(メタデータ) (2021-10-04T15:36:32Z) - Finetuned Language Models Are Zero-Shot Learners [67.70352207685558]
命令チューニングは、目に見えないタスクにおけるゼロショット性能を向上することを示す。
137Bパラメータを事前訓練した言語モデルと、自然言語の命令テンプレートを介して言語化された60以上のNLPタスクにチューニングする。
FLANと呼ばれるこの命令調整モデルについて、未知のタスクタイプで評価する。
論文 参考訳(メタデータ) (2021-09-03T17:55:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。