論文の概要: Instruction-following Evaluation through Verbalizer Manipulation

• arxiv url: http://arxiv.org/abs/2307.10558v2
• Date: Tue, 2 Apr 2024 04:38:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 13:31:56.719295
• Title: Instruction-following Evaluation through Verbalizer Manipulation
• Title（参考訳）: バーバリザー操作による指示追従評価
• Authors: Shiyang Li, Jun Yan, Hai Wang, Zheng Tang, Xiang Ren, Vijay Srinivasan, Hongxia Jin,
• Abstract要約: 本稿では,動詞操作と呼ばれる新しい指示追従評価プロトコルを提案する。 モデルにタスクラベルを、異なる範囲のモデル先行と整合した単語で言語化するように指示する。 異なる家族や規模にわたるモデルの指示追従能力は、より自然な話し手の性能によって著しく異なることが観察された。
• 参考スコア（独自算出の注目度）: 64.73188776428799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While instruction-tuned models have shown remarkable success in various natural language processing tasks, accurately evaluating their ability to follow instructions remains challenging. Existing benchmarks primarily focus on common instructions that align well with what the model learned during training. However, proficiency in responding to these instructions does not necessarily imply strong ability in instruction following. In this paper, we propose a novel instruction-following evaluation protocol called verbalizer manipulation. It instructs the model to verbalize the task label with words aligning with model priors to different extents, adopting verbalizers from highly aligned (e.g., outputting ``postive'' for positive sentiment), to minimally aligned (e.g., outputting ``negative'' for positive sentiment). Verbalizer manipulation can be seamlessly integrated with any classification benchmark to examine the model's reliance on priors and its ability to override them to accurately follow the instructions. We conduct a comprehensive evaluation of four major model families across nine datasets, employing twelve sets of verbalizers for each of them. We observe that the instruction-following abilities of models, across different families and scales, are significantly distinguished by their performance on less natural verbalizers. Even the strongest GPT-4 model struggles to perform better than random guessing on the most challenging verbalizer, emphasizing the need for continued advancements to improve their instruction-following abilities.
• Abstract（参考訳）: 命令調整型モデルは様々な自然言語処理タスクで顕著に成功したが、命令に従う能力の正確な評価は依然として難しい。 既存のベンチマークは主に、トレーニング中にモデルが学んだこととよく一致する一般的な命令に焦点を当てています。 しかし、これらの命令に応答する習熟度は、従う命令において必ずしも強い能力を示すものではない。 本稿では,動詞操作と呼ばれる新しい指示追従評価プロトコルを提案する。 これは、タスクラベルを、モデル先行と異なる程度に整合した単語で言語化するよう指示し、高い整合性(例えば、肯定的な感情に対して `postive'' を出力する)から最小整合性(例えば、肯定的な感情に対して `` negative' を出力する)へ言語化させる。 バーバリザの操作は、任意の分類ベンチマークとシームレスに統合して、モデルの事前依存性と、それらをオーバーライドして正確に指示に従う能力を調べることができる。 我々は、9つのデータセットにまたがる4つの主要なモデルファミリーを包括的に評価し、それぞれに12組の発声器を用いる。 我々は,異なる家族や規模にわたるモデルの指示追従能力が,より自然な言語化能力の低下によって著しく異なることを観察した。 最強のGPT-4モデルでさえ、最も難易度の高い動詞をランダムに推測するよりも優れた性能を発揮するのに苦労し、命令追従能力を改善するための継続的な進歩の必要性を強調している。

関連論文リスト

• MLAN: Language-Based Instruction Tuning Improves Zero-Shot Generalization of Multimodal Large Language Models [79.0546136194314]
  マルチモーダルな大規模言語モデルのゼロショットタスクの一般化を改善するために,新しい命令チューニング手法を提案する。 提案手法の有効性を,言語と視覚の両面にまたがる9つの未知のデータセットに対して評価した。
  論文  参考訳（メタデータ） (2024-11-15T20:09:59Z)
• Improving Instruction-Following in Language Models through Activation Steering [58.876600545898675]
  命令固有ベクトル表現を言語モデルから導出し,それに従ってモデルをステアリングする。 提案手法は,出力形式や長さ,単語の包摂といった制約に対するモデル適合性をいかに向上させるかを示す。 本研究は,アクティベーションステアリングが言語生成におけるきめ細かい制御に実用的でスケーラブルなアプローチを提供することを示す。
  論文  参考訳（メタデータ） (2024-10-15T08:38:20Z)
• Self-Judge: Selective Instruction Following with Alignment Self-Evaluation [27.69410513313001]
  提案手法は, 予測された応答品質が低い場合, 命令の実行を減少させる。 人手による品質スコアを必要とせずに、判断モデルを開発するための新しい自己学習フレームワークであるSelf-Jを紹介する。
  論文  参考訳（メタデータ） (2024-09-02T04:14:13Z)
• The SIFo Benchmark: Investigating the Sequential Instruction Following Ability of Large Language Models [48.455388608863785]
  本稿では,複数の命令を逐次的に追従するモデルの性能を評価するためのベンチマークを提案する。 我々のベンチマークは,4つのタスク(テキスト修正,質問応答,数学,セキュリティルール)を用いて,指示に従うことを評価する。 より最近のモデルでは、SIFoタスクにおいて、より古いモデルやより小さなモデルよりも大幅に優れており、ベンチマークの有効性が検証されている。
  論文  参考訳（メタデータ） (2024-06-28T15:34:26Z)
• Improving the Robustness of Large Language Models via Consistency Alignment [36.24876571343749]
  大規模言語モデル(LLM)は、ユーザ命令に従い、有用な応答を生成することで大きな成功を収めている。 LLMは、言語化された命令の微妙な変化により、非常に矛盾した応答を生成する。 本稿では,教師付き微調整と整合性調整を併用した2段階のトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-21T08:21:12Z)
• Instructive Decoding: Instruction-Tuned Large Language Models are Self-Refiner from Noisy Instructions [26.192531184689763]
  本稿では,インストラクティブ・デコーディング(Instructive Decoding, ID)を提案する。 IDは、元の命令の操作されたバージョンから生成された予測を利用して、逆方向の予測のためにロジットを調整する。 ランダムな単語を介して意味的ノイズを挿入するものから、逸脱した応答を誘発する「オポジット」のような他のものまで、このようなノイズの多い命令のスペクトルにわたって実験を行う。
  論文  参考訳（メタデータ） (2023-11-01T02:31:35Z)
• Evaluating the Zero-shot Robustness of Instruction-tuned Language Models [23.488398944358643]
  新規な(観測されていない)が適切な命令表現を用いることで、モデル性能は一貫して低下することがわかった。 本稿では,ソフトプロンプトの埋め込みパラメータを導入することで,この問題を軽減するための簡単な手法を提案する。 本手法は命令調整モデルのロバスト性を常に改善することを示す。
  論文  参考訳（メタデータ） (2023-06-20T03:48:51Z)
• Self-Instruct: Aligning Language Models with Self-Generated Instructions [76.42871502364697]
  Self-Instructは、事前訓練された言語モデルの命令フォロー機能を改善するためのフレームワークである。 私たちのパイプラインは、言語モデルから命令、入力、および出力のサンプルを生成し、その後、元のモデルを微調整するためにそれらを使用する前に、無効または類似のサンプルをフィルタします。 さらなる評価のために、新規タスクのエキスパートによる指示のセットをキュレートし、GPT3とセルフインストラクトのチューニングが既存の公開インストラクションデータセットを大きなマージンで向上することを示す。
  論文  参考訳（メタデータ） (2022-12-20T18:59:19Z)
• Learning Action Conditions from Instructional Manuals for Instruction Understanding [48.52663250368341]
  本稿では,行動条件推論というタスクを提案し,命令マニュアルにおける行動条件の事前条件と後条件の高品質なアノテートデータセットを収集する。 本稿では,オンライン指導マニュアルから大規模トレーニングインスタンスを自動構築する弱い教師付きアプローチを提案し,人間に注釈を付けて検証したデータセットをキュレートし,現在のNLPモデルが命令テキストの動作条件依存性をいかに推測できるかを検証した。
  論文  参考訳（メタデータ） (2022-05-25T00:19:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。