論文の概要: LLM Comparative Assessment: Zero-shot NLG Evaluation through Pairwise
Comparisons using Large Language Models
- arxiv url: http://arxiv.org/abs/2307.07889v3
- Date: Tue, 6 Feb 2024 17:05:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 20:39:05.416482
- Title: LLM Comparative Assessment: Zero-shot NLG Evaluation through Pairwise
Comparisons using Large Language Models
- Title(参考訳): LLM比較評価:大規模言語モデルを用いたペアワイズ比較によるゼロショットNLG評価
- Authors: Adian Liusie, Potsawee Manakul, Mark J. F. Gales
- Abstract要約: 大規模言語モデル(LLM)は、様々な自然言語タスクで印象的なゼロショット機能を実現している。
本稿では,ゼロショットNLG評価におけるLCMの創発的能力を活用するための2つの選択肢について検討する。
FlanT5 や Llama2-chat のような中規模のオープンソース LLM では、スコアリングよりも比較評価が優れている。
- 参考スコア(独自算出の注目度): 55.60306377044225
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current developments in large language models (LLMs) have enabled impressive
zero-shot capabilities across various natural language tasks. An interesting
application of these systems is in the automated assessment of natural language
generation (NLG), a highly challenging area with great practical benefit. In
this paper, we explore two options for exploiting the emergent abilities of
LLMs for zero-shot NLG assessment: absolute score prediction, and comparative
assessment which uses relative comparisons between pairs of candidates. Though
comparative assessment has not been extensively studied in NLG assessment, we
note that humans often find it more intuitive to compare two options rather
than scoring each one independently. This work examines comparative assessment
from multiple perspectives: performance compared to absolute grading;
positional biases in the prompt; and efficient ranking in terms of the number
of comparisons. We illustrate that LLM comparative assessment is a simple,
general and effective approach for NLG assessment. For moderate-sized
open-source LLMs, such as FlanT5 and Llama2-chat, comparative assessment is
superior to prompt scoring, and in many cases can achieve performance
competitive with state-of-the-art methods. Additionally, we demonstrate that
LLMs often exhibit strong positional biases when making pairwise comparisons,
and we propose debiasing methods that can further improve performance.
- Abstract(参考訳): 大規模言語モデル(LLM)の現在の開発は、様々な自然言語タスクで印象的なゼロショット機能を実現している。
これらのシステムの興味深い応用として、自然言語生成(NLG)の自動評価がある。
本稿では,ゼロショットNLG評価におけるLCMの創発的能力を活用するための2つの選択肢について検討する。
NLG評価において比較評価は広く研究されていないが、人間は個別に評価するよりも2つの選択肢を比較する方が直感的であることが多い。
本研究は,複数の視点から比較評価を行う: 絶対的な評価と比較する性能,プロンプトにおける位置バイアス,比較数の観点からの効率的なランキング。
LLM比較評価はNLG評価における単純で汎用的で効果的なアプローチであることを示す。
FlanT5 や Llama2-chat のような中規模のオープンソース LLM では、スコアリングよりも比較評価が優れている。
さらに,対数比較を行う場合,llmは位置偏りが強いことを実証し,さらに性能を向上させるデバイアス手法を提案する。
関連論文リスト
- PRE: A Peer Review Based Large Language Model Evaluator [15.647772081061987]
既存のパラダイムは、LLMの性能を評価するために、人間アノテーションまたはモデルベースの評価器のいずれかに依存している。
ピアレビュープロセスを通じてLLMを自動的に評価できる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-28T12:33:14Z) - Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。
モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。
評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
論文 参考訳(メタデータ) (2023-11-03T14:59:54Z) - A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking
with Large Language Models [38.42388083274069]
大言語モデル(LLM)は、ゼロショット文書ランキングタスクにおいて顕著な効果を示す。
LLMベースのゼロショットランキングでは、ポイントワイズ、ペアワイズ、リストワイズといったアプローチが提案されている。
それぞれのアプローチに固有の有効性と効率のトレードオフを特定します。
論文 参考訳(メタデータ) (2023-10-14T05:20:02Z) - Evaluating Large Language Models at Evaluating Instruction Following [57.74447923909296]
大規模言語モデル(LLM)は、人間の評価に代わるスケーラブルで費用対効果の高い代替品として登場した。
本稿では,これらの「LLM評価器」の有効性について検討する。
我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。
論文 参考訳(メタデータ) (2023-10-11T16:38:11Z) - Benchmarking Cognitive Biases in Large Language Models as Evaluators [17.850224207182062]
大規模言語モデル(LLM)は、簡単なプロンプトと文脈内学習を備えた自動評価器として有効であることが示されている。
評価器としてのLCMの認知バイアスベンチマーク(CoBBLEr)を導入したランキングアウトプットの品質を評価する。
LLMはテキスト品質評価器であり、バイアスベンチマークに強い指標を示す。
論文 参考訳(メタデータ) (2023-09-29T06:53:10Z) - PRD: Peer Rank and Discussion Improve Large Language Model based
Evaluations [8.49315902032444]
大規模言語モデル(LLM)は自動評価や比較が難しい。
本稿では,全ての解答対に対するLLMのペアワイズ選好を考慮に入れたピアランク(PR)アルゴリズムを提案する。
我々のアプローチは高い精度を実現し、人間の判断とよく一致していることがわかりました。
論文 参考訳(メタデータ) (2023-07-06T04:05:44Z) - Large Language Models are Not Yet Human-Level Evaluators for Abstractive
Summarization [66.08074487429477]
抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。
また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
論文 参考訳(メタデータ) (2023-05-22T14:58:13Z) - Evaluating the Performance of Large Language Models on GAOKAO Benchmark [53.663757126289795]
本稿では,中国のガオカオ検定の質問をサンプルとして用いた直感的なベンチマークであるガオカオベンチについて紹介する。
人間の評価により, GPT-4, ChatGPT, ERNIE-Botを含むLLMの変換総得点を得た。
また、LLMを用いて主観的質問を格付けし、モデルスコアが人間のスコアと適度な一貫性を達成することを確認する。
論文 参考訳(メタデータ) (2023-05-21T14:39:28Z) - Benchmarking Large Language Models for News Summarization [79.37850439866938]
大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。
LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
論文 参考訳(メタデータ) (2023-01-31T18:46:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。