論文の概要: Sample-Efficient Human Evaluation of Large Language Models via Maximum Discrepancy Competition

• arxiv url: http://arxiv.org/abs/2404.08008v1
• Date: Wed, 10 Apr 2024 01:26:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 16:54:09.362809
• Title: Sample-Efficient Human Evaluation of Large Language Models via Maximum Discrepancy Competition
• Title（参考訳）: 最大離散性競争による大規模言語モデルのサンプル効率評価
• Authors: Kehua Feng, Keyan Ding, Kede Ma, Zhihua Wang, Qiang Zhang, Huajun Chen,
• Abstract要約: そこで我々は,MAD(Maximum Discrepancy)コンペティションに基づく,サンプル効率のよい人的評価手法を提案する。 MAD は2つの LLM に適応した情報的かつ多様な命令群を自動的に選択する。 ペア比較の結果は、Eloレーティングシステムを用いてグローバルランキングに集約される。
• 参考スコア（独自算出の注目度）: 46.949604465227054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The past years have witnessed a proliferation of large language models (LLMs). Yet, automated and unbiased evaluation of LLMs is challenging due to the inaccuracy of standard metrics in reflecting human preferences and the inefficiency in sampling informative and diverse test examples. While human evaluation remains the gold standard, it is expensive and time-consuming, especially when dealing with a large number of testing samples. To address this problem, we propose a sample-efficient human evaluation method based on MAximum Discrepancy (MAD) competition. MAD automatically selects a small set of informative and diverse instructions, each adapted to two LLMs, whose responses are subject to three-alternative forced choice by human subjects. The pairwise comparison results are then aggregated into a global ranking using the Elo rating system. We select eight representative LLMs and compare them in terms of four skills: knowledge understanding, mathematical reasoning, writing, and coding. Experimental results show that the proposed method achieves a reliable and sensible ranking of LLMs' capabilities, identifies their relative strengths and weaknesses, and offers valuable insights for further LLM advancement.
• Abstract（参考訳）: 過去数年間、大きな言語モデル(LLM)が急増しているのを目撃してきた。 しかし、人間の嗜好を反映する標準指標の不正確さと、情報的かつ多様なテスト例を抽出する非効率性のため、LSMの自動化および非バイアス評価は困難である。 人間の評価は依然として金の基準となっているが、特に多数のテストサンプルを扱う場合、高価で時間を要する。 そこで本研究では,MAD(Maximum Discrepancy)コンペティションに基づく,サンプル効率のよい人的評価手法を提案する。 MADは情報的かつ多様な指示を自動的に選択し、それぞれが2つのLSMに適応し、その反応は被験者によって3つの代替的な選択を受ける。 ペア比較の結果は、Eloレーティングシステムを用いてグローバルランキングに集約される。 我々は8つの代表的なLCMを選択し、知識理解、数学的推論、記述、コーディングの4つのスキルの観点から比較する。 実験の結果,提案手法はLLMの能力の信頼性が高く,相対的な強度と弱点を識別し,LLMのさらなる進歩に有意義な洞察を与えることがわかった。

関連論文リスト

• Reference-Guided Verdict: LLMs-as-Judges in Automatic Evaluation of Free-Form Text [12.879551933541345]
  大きな言語モデル(LLM)は、人間のような会話を生成できる。 BLEUやROUGEのような従来のメトリクスは、このような生成出力の微妙な意味と文脈的な豊かさを捉えるには不十分である。 本稿では,複数のLSM-as-judgesを活用することで,評価プロセスを自動化する基準誘導型判定手法を提案する。
  論文  参考訳（メタデータ） (2024-08-17T16:01:45Z)
• Decoding Biases: Automated Methods and LLM Judges for Gender Bias Detection in Language Models [47.545382591646565]
  大きな言語モデル(LLM)は、言語理解と人間レベルのテキストの生成に優れています。 LLMは、悪意のあるユーザーがモデルに望ましくないテキストを生成するよう促す敵攻撃の影響を受けやすい。 本研究では,対象のLSMから偏りのある応答を抽出する逆方向のプロンプトを自動生成するモデルを訓練する。
  論文  参考訳（メタデータ） (2024-08-07T17:11:34Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Style Over Substance: Evaluation Biases for Large Language Models [17.13064447978519]
  本研究では,大規模言語モデル(LLM)とともに,クラウドソースおよびエキスパートアノテータの挙動について検討する。 この結果から, 事実的誤りに対する回答は, 短すぎる, 文法的誤りを含む回答よりも好意的に評価され, 評価過程の偏りが示唆された。 評価面を1つのスコアにマージするのではなく,複数の次元にまたがるマシン生成テキストを独立に評価することを提案する。
  論文  参考訳（メタデータ） (2023-07-06T14:42:01Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)
• Evaluating the Performance of Large Language Models on GAOKAO Benchmark [53.663757126289795]
  本稿では,中国のガオカオ検定の質問をサンプルとして用いた直感的なベンチマークであるガオカオベンチについて紹介する。 人間の評価により, GPT-4, ChatGPT, ERNIE-Botを含むLLMの変換総得点を得た。 また、LLMを用いて主観的質問を格付けし、モデルスコアが人間のスコアと適度な一貫性を達成することを確認する。
  論文  参考訳（メタデータ） (2023-05-21T14:39:28Z)
• Can Large Language Models Be an Alternative to Human Evaluations? [80.81532239566992]
  大規模言語モデル(LLM)は、タスク命令のみを提供する場合、目に見えないタスクに対して例外的な性能を示す。 LLM評価の結果は、専門家による評価の結果と一致していることを示す。
  論文  参考訳（メタデータ） (2023-05-03T07:28:50Z)
• Benchmarking Large Language Models for News Summarization [79.37850439866938]
  大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。 LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
  論文  参考訳（メタデータ） (2023-01-31T18:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。