論文の概要: An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-tuned Judge Model is not a General Substitute for GPT-4

• arxiv url: http://arxiv.org/abs/2403.02839v3
• Date: Tue, 05 Nov 2024 09:07:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:56:51.999847
• Title: An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-tuned Judge Model is not a General Substitute for GPT-4
• Title（参考訳）: LLM-as-a-JudgeのLCM評価に関する実証的研究:GPT-4の代替品ではない微調整判定モデル
• Authors: Hui Huang, Yingqi Qu, Xingyuan Bu, Hongli Zhou, Jing Liu, Muyun Yang, Bing Xu, Tiejun Zhao,
• Abstract要約: 微調整の審査モデルは、GPT-4と同等の評価能力を発揮すると主張されている。 本稿では,GPT-4を利用して,制約を補償し,微調整による判断を改善する手法を提案する。 実験の結果,APIコストの50%に過ぎず,GPT-4と同等の精度が得られた。
• 参考スコア（独自算出の注目度）: 29.93673872618022
• License:
• Abstract: Recently, there has been a growing trend of utilizing Large Language Model (LLM) to evaluate the quality of other LLMs. Many studies have employed proprietary close-sourced models, especially GPT-4, as the evaluator. Alternatively, other works have fine-tuned judge models based on open-source LLMs as the evaluator. While the fine-tuned judge models are claimed to achieve comparable evaluation capability with GPT-4, in this work, we conduct an empirical study of judge models. Our findings indicate that although the fine-tuned judge models achieve high performance on in-domain test sets, even surpassing GPT-4, they underperform GPT-4 across several dimensions, including generalizability, fairness, aspect-specific evaluation, and scalability. We also reveal that the fine-tuned judge model inherently operates as a task-specific classifier, consequently imposing the limitations. Finally, we introduce a integrated method, leveraging GPT-4 to compensate for the limitations and improve the fine-tuned judges. Experiment results show our method achieves accuracy on par with GPT-4 with only 50% of the API expense.
• Abstract（参考訳）: 近年,Large Language Model (LLM) を用いて他のLLMの品質を評価する傾向が高まっている。 多くの研究では、プロプライエタリなオープンソースモデル、特にGPT-4を評価対象として採用している。 あるいは、オープンソースのLCMに基づいて微調整された判断モデルを評価対象とする作品もある。 微調整された判定モデルは, GPT-4と同等の評価能力を発揮すると主張されているが, 本研究では, 審査モデルの実証的研究を行う。 提案手法は, GPT-4 を超越しても, GPT-4 は汎用性, 公平性, アスペクト特化評価, 拡張性など, 領域内テストセット上で高い性能を達成できることが示唆された。 また、微調整された判断モデルが本質的にタスク固有の分類器として機能し、その結果、制限が課されることを明らかにした。 最後に、GPT-4を利用して制限を補償し、微調整による判断を改善する統合手法を提案する。 実験の結果,APIコストの50%に過ぎず,GPT-4と同等の精度が得られた。

関連論文リスト

• Direct Judgement Preference Optimization [66.83088028268318]
  我々は、他のモデルのアウトプットを評価し、批判するために、生成的判断として大きな言語モデル(LLM)を訓練する。 我々は,異なるユースケースに対する選好ペアの収集に3つのアプローチを採用し,それぞれが異なる視点から生成判断を改善することを目的としている。 提案モデルは,位置や長さの偏りなどの固有バイアスに強く対応し,実践者が指定した評価プロトコルに柔軟に適用し,下流ジェネレータモデルを改善する上で有用な言語フィードバックを提供する。
  論文  参考訳（メタデータ） (2024-09-23T02:08:20Z)
• GroUSE: A Benchmark to Evaluate Evaluators in Grounded Question Answering [0.0]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) をプライベートおよび最新の知識ベースと共に使用する共通のパラダイムとして登場した。 本稿では,RAG システムによって生成される接地回答を評価する際に LLM-as-a-Judge を用いる際の課題に対処する。
  論文  参考訳（メタデータ） (2024-09-10T15:39:32Z)
• See What LLMs Cannot Answer: A Self-Challenge Framework for Uncovering LLM Weaknesses [51.975495361024606]
  本稿では,Human-in-the-loopを用いたセルフチェレンジ評価フレームワークを提案する。 GPT-4が答えられないシードインスタンスから始めて、GPT-4に新しいインスタンスを生成するのに使えるエラーパターンを要約するように促します。 次に,GPT-4が生成する1,835個のインスタンスと,人手によるゴールド応答を併用したベンチマーク,SC-G4を構築した。
  論文  参考訳（メタデータ） (2024-08-16T19:01:52Z)
• Are Large Language Models Strategic Decision Makers? A Study of Performance and Bias in Two-Player Non-Zero-Sum Games [56.70628673595041]
  大規模言語モデル (LLM) は現実世界での利用が増えているが、その戦略的意思決定能力はほとんど探索されていない。 本研究は,Stag Hunt と Prisoner Dilemma のカノニカルゲーム理論2人プレイヤ非ゼロサムゲームにおける LLM の性能とメリットについて検討する。 GPT-3.5, GPT-4-Turbo, GPT-4o, Llama-3-8Bの構造化評価は, これらのゲームにおいて決定を行う場合, 以下の系統的バイアスの少なくとも1つの影響を受けていることを示す。
  論文  参考訳（メタデータ） (2024-07-05T12:30:02Z)
• RLAIF-V: Aligning MLLMs through Open-Source AI Feedback for Super GPT-4V Trustworthiness [94.03511733306296]
  我々は,MLLMを超GPT-4V信頼性のための完全なオープンソースパラダイムに整合させるフレームワークであるRLAIF-Vを紹介する。 RLAIF-Vは、高品質なフィードバックデータとオンラインフィードバック学習アルゴリズムを含む、2つの観点から、オープンソースフィードバックを最大限活用する。 実験により、RLAIF-Vは、他のタスクのパフォーマンスを犠牲にすることなく、モデルの信頼性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-05-27T14:37:01Z)
• Open Source Language Models Can Provide Feedback: Evaluating LLMs' Ability to Help Students Using GPT-4-As-A-Judge [4.981275578987307]
  大規模言語モデル(LLM)は、幅広いコンピューティングコンテキストにおけるフィードバックの自動生成に大きな可能性を示している。 しかし、学生の仕事をプロプライエタリなモデルに送ることのプライバシーと倫理的意味について懸念の声が上がっている。 このことは、教育におけるオープンソースのLLMの使用に大きな関心を呼んだが、そのようなオープンモデルが生み出すフィードバックの品質は、まだ検討されていない。
  論文  参考訳（メタデータ） (2024-05-08T17:57:39Z)
• Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models [56.02275285521847]
  LLm評価器のパネル(PoLL)を用いた評価モデルを提案する。 より多数の小さなモデルで構成されたPoLLは,1つの大判定器より優れ,不整合モデルファミリーの構成によるモデル内バイアスが小さく,しかも7倍以上のコストがかかる。
  論文  参考訳（メタデータ） (2024-04-29T15:33:23Z)
• Evaluation Metrics in the Era of GPT-4: Reliably Evaluating Large Language Models on Sequence to Sequence Tasks [9.801767683867125]
  我々は,3つのNLPベンチマークの予備的およびハイブリッドな評価を,自動評価と人的評価の両方を用いて提供する。 ChatGPTは、ほとんどのメトリクスにおいて、人間のレビュアーによって、他の人気のあるモデルよりも一貫して優れています。 また、人間のレビュアーは、最高のモデルの出力よりも金の基準を格段に悪く評価し、多くの人気のあるベンチマークの品質が劣っていることを示している。
  論文  参考訳（メタデータ） (2023-10-20T20:17:09Z)
• Split and Merge: Aligning Position Biases in Large Language Model based Evaluators [23.38206418382832]
  PortIAは、人間の比較戦略を模倣して位置バイアスを校正するアライメントベースのシステムである。 その結果, Portia はテスト対象のモデルと比較形態の整合性を著しく向上させることがわかった。 GPT-4モデルにおける位置バイアスの約80%を修正し、一貫性を98%まで高める。
  論文  参考訳（メタデータ） (2023-09-29T14:38:58Z)
• Analyzing the Performance of GPT-3.5 and GPT-4 in Grammatical Error Correction [28.58384091374763]
  GPT-3とGPT-4モデルは強力で、様々な自然言語処理タスクで高い性能を発揮する。 GPT-3.5 モデル (text-davinci-003) と GPT-4 モデル (gpt-4-0314) の機能を GEC ベンチマークで検証した。 BEA-2019およびJFLEGデータセットにおける最良プロンプトの性能について報告する。
  論文  参考訳（メタデータ） (2023-03-25T03:08:49Z)
• GPT-4 Technical Report [116.90398195245983]
  GPT-4は大規模なマルチモーダルモデルであり、画像やテキストの入力を受け取り、テキスト出力を生成することができる。 試験受験者の上位10%のスコアで模擬試験に合格するなど、さまざまな専門的、学術的なベンチマークで人間レベルのパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-03-15T17:15:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。