論文の概要: Toward the Evaluation of Large Language Models Considering Score Variance across Instruction Templates

• arxiv url: http://arxiv.org/abs/2408.12263v1
• Date: Thu, 22 Aug 2024 10:00:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 14:23:36.792850
• Title: Toward the Evaluation of Large Language Models Considering Score Variance across Instruction Templates
• Title（参考訳）: 指導テンプレート間のスコア変動を考慮した大規模言語モデルの評価に向けて
• Authors: Yusuke Sakai, Adam Nohejl, Jiangnan Hang, Hidetaka Kamigaito, Taro Watanabe,
• Abstract要約: 大規模言語モデル(LLM)の自然言語理解(NLU)性能は,様々なタスクやデータセットで評価されている。 しかし、既存の評価手法では、プロンプトの違いによるスコアのばらつきを考慮に入れていない。 したがって、異なる命令テンプレート間のスコアのばらつきを考慮して、NLU性能を公平に測定する方法を見つける必要がある。
• 参考スコア（独自算出の注目度）: 24.46103924394483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The natural language understanding (NLU) performance of large language models (LLMs) has been evaluated across various tasks and datasets. The existing evaluation methods, however, do not take into account the variance in scores due to differences in prompts, which leads to unfair evaluation and comparison of NLU performance. Moreover, evaluation designed for specific prompts is inappropriate for instruction tuning, which aims to perform well with any prompt. It is therefore necessary to find a way to measure NLU performance in a fair manner, considering score variance between different instruction templates. In this study, we provide English and Japanese cross-lingual datasets for evaluating the NLU performance of LLMs, which include multiple instruction templates for fair evaluation of each task, along with regular expressions to constrain the output format. Furthermore, we propose the Sharpe score as an evaluation metric that takes into account the variance in scores between templates. Comprehensive analysis of English and Japanese LLMs reveals that the high variance among templates has a significant impact on the fair evaluation of LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)の自然言語理解(NLU)性能は,様々なタスクやデータセットで評価されている。 しかし、既存の評価手法では、プロンプトの違いによるスコアのばらつきを考慮せず、不公平な評価とNLU性能の比較につながる。 さらに、特定のプロンプトのために設計された評価は、任意のプロンプトでうまく機能することを目的とした命令チューニングには不適切である。 したがって、異なる命令テンプレート間のスコアのばらつきを考慮して、NLU性能を公平に測定する方法を見つける必要がある。 本研究では,各タスクを公平に評価するための複数の命令テンプレートと,出力形式を制約する正規表現を含む,LLMのNLU性能を評価するための英語と日本語の言語間データセットを提供する。 さらに,テンプレート間のスコアのばらつきを考慮した評価指標としてシャープスコアを提案する。 英語と日本語のLLMの包括的分析により,テンプレート間の高いばらつきがLLMの公平な評価に重大な影響を与えることが明らかとなった。

関連論文リスト

• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• Evaluation of Instruction-Following Ability for Large Language Models on Story-Ending Generation [2.4889060833127665]
  本稿では,大規模言語モデル(LLM)の物語生成の文脈における指示追従能力の評価に焦点をあてる。 本稿では,機械読影理解モデル(MRC)を用いた自動評価パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-24T06:53:36Z)
• Language Models can Evaluate Themselves via Probability Discrepancy [38.54454263880133]
  様々な大規模言語モデル(LLM)の有効性を評価するための自己評価手法ProbDiffを提案する。 テスト中のLSMを、初期応答と修正バージョンの間の確率差を計算するために独自に利用する。 以上の結果から, ProbDiff は GPT-4 に基づく評価結果と同等の結果を得た。
  論文  参考訳（メタデータ） (2024-05-17T03:50:28Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• SemScore: Automated Evaluation of Instruction-Tuned LLMs based on Semantic Textual Similarity [3.3162484539136416]
  本稿では,SemScoreと呼ばれる簡易な評価尺度を提案する。 意味的テキスト類似度(STS)を用いたモデル出力とゴールドターゲット応答の比較 提案したSemScore測定基準は,人間の評価と相関する点において,より複雑な評価指標よりも優れていることが判明した。
  論文  参考訳（メタデータ） (2024-01-30T14:52:50Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)
• Evaluating the Performance of Large Language Models on GAOKAO Benchmark [53.663757126289795]
  本稿では,中国のガオカオ検定の質問をサンプルとして用いた直感的なベンチマークであるガオカオベンチについて紹介する。 人間の評価により, GPT-4, ChatGPT, ERNIE-Botを含むLLMの変換総得点を得た。 また、LLMを用いて主観的質問を格付けし、モデルスコアが人間のスコアと適度な一貫性を達成することを確認する。
  論文  参考訳（メタデータ） (2023-05-21T14:39:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。