論文の概要: Systematic Evaluation of LLM-as-a-Judge in LLM Alignment Tasks: Explainable Metrics and Diverse Prompt Templates

• arxiv url: http://arxiv.org/abs/2408.13006v2
• Date: Sun, 30 Mar 2025 17:59:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:30:20.948281
• Title: Systematic Evaluation of LLM-as-a-Judge in LLM Alignment Tasks: Explainable Metrics and Diverse Prompt Templates
• Title（参考訳）: LLMアライメントタスクにおけるLCM-as-a-Judgeの体系的評価:説明可能なメトリックとディバースプロンプトテンプレート
• Authors: Hui Wei, Shenghua He, Tian Xia, Fei Liu, Andy Wong, Jingyang Lin, Mei Han,
• Abstract要約: LLM審査員の信頼性とアライメントを評価・比較・可視化するオープンソースフレームワークを開発した。 以上の結果から,LLM判定性能に対するプロンプトテンプレートの影響や,LLM判定器とヒト評価器の中間的なアライメントレベルに有意な影響が示唆された。
• 参考スコア（独自算出の注目度）: 11.948519516797745
• License:
• Abstract: LLM-as-a-Judge has been widely applied to evaluate and compare different LLM alignmnet approaches (e.g., RLHF and DPO). However, concerns regarding its reliability have emerged, due to LLM judges' biases and inconsistent decision-making. Previous research has developed evaluation frameworks to assess reliability of LLM judges and their alignment with human preferences. However, the employed evaluation metrics often lack adequate explainability and fail to address LLM internal inconsistency. Additionally, existing studies inadequately explore the impact of various prompt templates when applying LLM-as-a-Judge methods, leading to potentially inconsistent comparisons between different alignment algorithms. In this work, we systematically evaluate LLM-as-a-Judge on alignment tasks by defining more theoretically interpretable evaluation metrics and explicitly mitigating LLM internal inconsistency from reliability metrics. We develop an open-source framework to evaluate, compare, and visualize the reliability and alignment of LLM judges, which facilitates practitioners to choose LLM judges for alignment tasks. In the experiments, we examine effects of diverse prompt templates on LLM-judge reliability and also demonstrate our developed framework by comparing various LLM judges on two common alignment datasets (i.e., TL;DR Summarization and HH-RLHF-Helpfulness). Our results indicate a significant impact of prompt templates on LLM judge performance, as well as a mediocre alignment level between the tested LLM judges and human evaluators.
• Abstract（参考訳）: LLM-as-a-Judgeは、異なるLLM整合性アプローチ(例えば、RLHF、DPO)の評価と比較に広く応用されている。 しかし、LCM判事のバイアスと矛盾した意思決定のため、信頼性に関する懸念が浮かび上がっている。 従来の研究では、LLM審査員の信頼性と人間の嗜好との整合性を評価するための評価フレームワークが開発されている。 しかし、採用した評価指標には十分な説明性がなく、LLM内部の不整合に対処できない場合が多い。 さらに、LLM-as-a-Judge法を適用する際には、様々なプロンプトテンプレートの影響を不適切に調査し、異なるアライメントアルゴリズム間の潜在的に矛盾する比較を行う。 本研究では、より理論的に解釈可能な評価指標を定義し、信頼性指標からLLM内部の不整合を明示的に緩和することにより、アライメントタスクにおけるLCM-as-a-Judgeを体系的に評価する。 我々は,LLM審査員の信頼性とアライメントを評価,比較,可視化するオープンソースフレームワークを開発した。 実験では,多彩なプロンプトテンプレートがLLM-judgeの信頼性に及ぼす影響について検討し,また,2つの共通アライメントデータセット(TL;DR Summarization と HH-RLHF-Helpfulness )について,様々なLCM判定値を比較して検討した。 以上の結果から,LLM判定性能に対するプロンプトテンプレートの影響や,LLM判定器とヒト評価器の中間的なアライメントレベルに有意な影響が示唆された。

関連論文リスト

• An Empirical Analysis of Uncertainty in Large Language Model Evaluations [28.297464655099034]
  我々は2つの異なる評価条件で9つのLLM評価器を用いた実験を行った。 LLM評価器はモデルファミリやサイズによって様々な不確実性を示す。 推論やポストトレーニングのときでも、特別なプロンプト戦略を採用することで、評価の不確実性をある程度軽減できることがわかった。
  論文  参考訳（メタデータ） (2025-02-15T07:45:20Z)
• Re-evaluating Automatic LLM System Ranking for Alignment with Human Preference [63.03859517284341]
  自動評価フレームワークは、人間の嗜好との整合性に基づいてLLMをランク付けすることを目的としている。 自動LLMベンチラは、入力セット、評価モデル、評価タイプ、集約方法の4つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2024-12-31T17:46:51Z)
• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• Evaluating the Evaluator: Measuring LLMs' Adherence to Task Evaluation Instructions [18.93335792080899]
  LLMs-as-a-judgeがAI判断と人間の判断の整合性に与える影響について検討する。 我々は、LLMによる最先端評価で一般的に使用される品質基準の分類を集約し、それを審査員として厳密なモデルベンチマークとして提供する。
  論文  参考訳（メタデータ） (2024-08-16T14:49:35Z)
• Fairer Preferences Elicit Improved Human-Aligned Large Language Model Judgments [41.25558612970942]
  大規模言語モデル (LLMs) が優先バイアスを示し, 設計に敏感であることを示す。 この現象に触発された自動ゼロショット評価指向のプロンプト最適化フレームワークZEPOを提案する。
  論文  参考訳（メタデータ） (2024-06-17T09:48:53Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Large Language Models are Inconsistent and Biased Evaluators [2.136983452580014]
  我々は,Large Language Models (LLMs) が親しみの偏りを示し,評価の歪んだ分布を示すため,評価値の偏りを示すことを示した。 また, LLM は不整合性評価器であり, テキスト品質の人間の理解に欠かせない相違を誘発する「サンプル間合意」が低く, 感度が高いことがわかった。
  論文  参考訳（メタデータ） (2024-05-02T20:42:28Z)
• Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators [48.54465599914978]
  大規模言語モデル(LLM)は、生成された自然言語の品質を評価するための自動評価器として有望な能力を示した。 LLMは依然として評価のバイアスを示しており、人間の評価と整合したコヒーレントな評価を生成するのに苦労することが多い。 Pairwise-preference Search (PAIRS) は、LLMを用いた不確実性誘導検索に基づくランクアグリゲーション手法で、局所的にペアワイズ比較を行い、グローバルに候補テキストを効率よくランク付けする。
  論文  参考訳（メタデータ） (2024-03-25T17:11:28Z)
• Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.06294042304415]
  エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。 フレームワークのコードをGitHubで公開しています。
  論文  参考訳（メタデータ） (2024-01-30T07:03:32Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。