論文の概要: HypoEval: Hypothesis-Guided Evaluation for Natural Language Generation

• arxiv url: http://arxiv.org/abs/2504.07174v1
• Date: Wed, 09 Apr 2025 18:00:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:23:46.024100
• Title: HypoEval: Hypothesis-Guided Evaluation for Natural Language Generation
• Title（参考訳）: hypoEval: 自然言語生成のための仮説ガイドによる評価
• Authors: Mingxuan Li, Hanchen Li, Chenhao Tan,
• Abstract要約: hypoEvalは、大規模言語モデル(LLM)のための仮説誘導評価フレームワークである 人間の評価は30点に過ぎず,HypoEvalはヒトのランク(スピアマンの相関)とヒトのスコア(ピアソンの相関)の両方に対応して最先端のパフォーマンスを達成する。 我々は、HypoEvalの堅牢性を評価するための系統的研究を行い、信頼性と解釈可能な自動評価フレームワークとしての有効性を強調した。
• 参考スコア（独自算出の注目度）: 25.193026443079987
• License:
• Abstract: Large language models (LLMs) have demonstrated great potential for automating the evaluation of natural language generation. Previous frameworks of LLM-as-a-judge fall short in two ways: they either use zero-shot setting without consulting any human input, which leads to low alignment, or fine-tune LLMs on labeled data, which requires a non-trivial number of samples. Moreover, previous methods often provide little reasoning behind automated evaluations. In this paper, we propose HypoEval, Hypothesis-guided Evaluation framework, which first uses a small corpus of human evaluations to generate more detailed rubrics for human judgments and then incorporates a checklist-like approach to combine LLM's assigned scores on each decomposed dimension to acquire overall scores. With only 30 human evaluations, HypoEval achieves state-of-the-art performance in alignment with both human rankings (Spearman correlation) and human scores (Pearson correlation), on average outperforming G-Eval by 11.86% and fine-tuned Llama-3.1-8B-Instruct with at least 3 times more human evaluations by 11.95%. Furthermore, we conduct systematic studies to assess the robustness of HypoEval, highlighting its effectiveness as a reliable and interpretable automated evaluation framework.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語生成の評価を自動化する大きな可能性を証明している。 従来の LLM-as-a-judge のフレームワークは、人間の入力を参考にすることなくゼロショット設定を使用するか、ラベル付きデータに微調整の LLM を使用するかの2つの方法で不足している。 さらに、従来の手法は自動評価の背後にある推論をほとんど提供しないことが多い。 本稿では,まず人的評価の小さなコーパスを用いて人的判断のためのより詳細なルーリックを生成し,次に,分解された次元にLLMの割り当てられたスコアを組み合わせて全体のスコアを取得するチェックリストのようなアプローチを取り入れた仮説誘導評価フレームワークであるHypoEvalを提案する。 人間の評価は30点に過ぎず、ヒトのランキング(スピアマンの相関)とヒトのスコア(ピアソンの相関)、平均成績G-Evalの11.86%、微調整Llama-3.1-8B-インストラクションの少なくとも3倍の人間評価を11.95%で達成している。 さらに,HypoEvalのロバスト性を評価するための系統的研究を行い,信頼性と解釈可能な自動評価フレームワークとしての有効性を強調した。

関連論文リスト

• SedarEval: Automated Evaluation using Self-Adaptive Rubrics [4.97150240417381]
  本稿では,自己適応型ルーブリックに基づく新しい評価パラダイムを提案する。 SedarEvalは、細心の注意を払って1,000の質問から成り、それぞれが独自の自己適応型ルーリックを持っている。 我々は、人間の学級に取って代わるために、特殊評価器言語モデル(評価器LM)を訓練する。
  論文  参考訳（メタデータ） (2025-01-26T16:45:09Z)
• HREF: Human Response-Guided Evaluation of Instruction Following in Language Models [61.273153125847166]
  我々は新しい評価ベンチマークHREF(Human Response-Guided Evaluation of Instruction following)を開発した。 HREFは信頼性の高い評価を提供するだけでなく、個々のタスクのパフォーマンスを強調し、汚染を受けない。 本稿では,評価セットのサイズ,判断モデル,ベースラインモデル,プロンプトテンプレートなど,HREFにおける鍵設計選択の影響について検討する。
  論文  参考訳（メタデータ） (2024-12-20T03:26:47Z)
• Towards Understanding the Robustness of LLM-based Evaluations under Perturbations [9.944512689015998]
  大言語モデル(LLM)は、要約やダイアログベースのタスクにおいて、非標準化メトリクスの自動評価器として機能する。 人間の判断に比較して,LLMが品質評価指標としていかに優れているかを検討するために,複数のプロンプト戦略にまたがる実験を行った。
  論文  参考訳（メタデータ） (2024-12-12T13:31:58Z)
• Poor-Supervised Evaluation for SuperLLM via Mutual Consistency [20.138831477848615]
  正確なラベルを使わずに評価を行うためのPoEMフレームワークを提案する。 まず、モデルと特定の参照モデルとの整合性によって、モデルの能力が等価に評価できることを証明します。 現実の条件の不整合を緩和するために,人間(利用可能な場合)と参照モデルとして評価中のモデルを扱うアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-08-25T06:49:03Z)
• Aligning Model Evaluations with Human Preferences: Mitigating Token Count Bias in Language Model Assessments [2.1370543868467275]
  本稿では,大規模言語モデルと人的評価を協調させる手法について検討する。 我々はこのバイアスを定量化するためにベイズ統計とt検定を用い、GPTScorerを調整するための再校正手順を開発した。 以上の結果から,再校正したLCM評価器と,複数のユースケースにおけるヒト評価との整合性は有意に改善した。
  論文  参考訳（メタデータ） (2024-07-05T09:26:40Z)
• Better than Random: Reliable NLG Human Evaluation with Constrained Active Sampling [50.08315607506652]
  信頼性の高い人的判断のための制約付きアクティブサンプリングフレームワーク(CASF)を提案する。 実験の結果、CASFは93.18%のシステム認識精度が得られた。
  論文  参考訳（メタデータ） (2024-06-12T07:44:36Z)
• Calibrating LLM-Based Evaluator [92.17397504834825]
  マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。 人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。 複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2023-09-23T08:46:11Z)
• G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment [64.01972723692587]
  本稿では,大規模言語モデルにチェーン・オブ・シント(CoT)を組み込んだフレームワークであるG-Evalと,NLG出力の品質評価のためのフォームフィリングパラダイムを提案する。 GPT-4 をバックボーンモデルとした G-Eval は,要約タスクにおいて,0.514 と人間とのスピアマン相関を達成し,従来手法の差を大きく上回ることを示す。
  論文  参考訳（メタデータ） (2023-03-29T12:46:54Z)
• Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
  要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。 細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。 ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
  論文  参考訳（メタデータ） (2022-12-15T17:26:05Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。