論文の概要: Ranking Generated Answers: On the Agreement of Retrieval Models with Humans on Consumer Health Questions

• arxiv url: http://arxiv.org/abs/2408.09831v2
• Date: Fri, 17 Jan 2025 07:48:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 13:56:59.799345
• Title: Ranking Generated Answers: On the Agreement of Retrieval Models with Humans on Consumer Health Questions
• Title（参考訳）: ランク付けされた回答:消費者健康問題における検索モデルと人間との合意について
• Authors: Sebastian Heineking, Jonas Probst, Daniel Steinbach, Martin Potthast, Harrisen Scells,
• Abstract要約: 本稿では,生成型大規模言語モデル(LLM)の出力を評価する手法を提案する。 我々は、注釈付き文書コレクションで訓練されたランキングモデルを、明示的な妥当性の代用として用いている。 ユーザ研究において,本手法は人間専門家の嗜好と相関する。
• 参考スコア（独自算出の注目度）: 25.158868133182025
• License:
• Abstract: Evaluating the output of generative large language models (LLMs) is challenging and difficult to scale. Many evaluations of LLMs focus on tasks such as single-choice question-answering or text classification. These tasks are not suitable for assessing open-ended question-answering capabilities, which are critical in domains where expertise is required. One such domain is health, where misleading or incorrect answers can have a negative impact on a user's well-being. Using human experts to evaluate the quality of LLM answers is generally considered the gold standard, but expert annotation is costly and slow. We present a method for evaluating LLM answers that uses ranking models trained on annotated document collections as a substitute for explicit relevance judgements and apply it to the CLEF 2021 eHealth dataset. In a user study, our method correlates with the preferences of a human expert (Kendall's $\tau=0.64$). It is also consistent with previous findings in that the quality of generated answers improves with the size of the model and more sophisticated prompting strategies.
• Abstract（参考訳）: 生成型大規模言語モデル(LLM)の出力を評価することは困難であり、スケールすることが困難である。 LLMの評価の多くは、単一選択質問回答やテキスト分類といったタスクに重点を置いている。 これらのタスクは、専門知識を必要とする領域において重要な、オープンエンドの質問応答能力の評価には適していない。 そのような領域の1つは健康であり、誤った回答や誤った回答がユーザの幸福に悪影響を及ぼす可能性がある。 人間の専門家を使ってLLMの回答の質を評価することは、一般的には金の基準と考えられているが、専門家のアノテーションは高価で遅い。 本稿では,注釈付き文書コレクションをトレーニングしたランキングモデルを用いたLCM回答の評価手法を提案し,CLEF 2021 eHealthデータセットに適用する。 ユーザスタディにおいて,本手法は人間専門家の好みと相関する(Kendall's $\tau=0.64$)。 また、生成した回答の品質がモデルのサイズとより洗練されたプロンプト戦略によって改善されるという以前の知見とも一致している。

関連論文リスト

• HREF: Human Response-Guided Evaluation of Instruction Following in Language Models [61.273153125847166]
  我々は新しい評価ベンチマークHREF(Human Response-Guided Evaluation of Instruction following)を開発した。 HREFは信頼性の高い評価を提供するだけでなく、個々のタスクのパフォーマンスを強調し、汚染を受けない。 本稿では,評価セットのサイズ,判断モデル,ベースラインモデル,プロンプトテンプレートなど,HREFにおける鍵設計選択の影響について検討する。
  論文  参考訳（メタデータ） (2024-12-20T03:26:47Z)
• LINKAGE: Listwise Ranking among Varied-Quality References for Non-Factoid QA Evaluation via LLMs [61.57691505683534]
  非F (Non-Factoid) Question Answering (QA) は多種多様な潜在的回答と客観的基準により評価が困難である。 大規模言語モデル (LLM) は、様々なNLPタスクにおいて魅力的な性能を持つため、NFQAの評価に利用されてきた。 提案手法は,LLMを用いて基準回答のランク付けを行う新しい評価手法であるNFQAの評価手法を提案する。
  論文  参考訳（メタデータ） (2024-09-23T06:42:21Z)
• Reference-Guided Verdict: LLMs-as-Judges in Automatic Evaluation of Free-Form Text [12.879551933541345]
  大きな言語モデル(LLM)は、人間のような会話を生成できる。 BLEUやROUGEのような従来のメトリクスは、このような生成出力の微妙な意味と文脈的な豊かさを捉えるには不十分である。 本稿では,複数のLSM-as-judgesを活用することで,評価プロセスを自動化する基準誘導型判定手法を提案する。
  論文  参考訳（メタデータ） (2024-08-17T16:01:45Z)
• LLMs instead of Human Judges? A Large Scale Empirical Study across 20 NLP Evaluation Tasks [106.09361690937618]
  人間の判断の代わりにLPMを用いてNLPモデルを評価する傾向が高まっている。 JUDGE-BENCHは20個のNLPデータセットのコレクションで、人間のアノテーションで、幅広い評価された特性やデータの種類をカバーしています。 アノテーションを複製できるため、オープンウェイトモデルとプロプライエタリモデルの両方をカバーする11の現在のLCMを評価します。
  論文  参考訳（メタデータ） (2024-06-26T14:56:13Z)
• Evaluating Quality of Answers for Retrieval-Augmented Generation: A Strong LLM Is All You Need [3.3624592634336814]
  本稿では,vRAG-Evalを用いた検索・拡張生成(RAG)アプリケーションにおける回答品質評価の総合的研究について述べる。 品質面の階調をバイナリスコアにマッピングし、受け入れまたは拒否の決定を示す。 このアプローチは、明確な意思決定の意見が不可欠である現実的なビジネスコンテキストに適合します。
  論文  参考訳（メタデータ） (2024-06-26T04:49:41Z)
• Accurate and Nuanced Open-QA Evaluation Through Textual Entailment [4.762213968673381]
  本稿では,より情報的かつ汎用的な解答を識別するために,解答の包含関係について検討する。 提案するエンテーメントに基づく評価では,回答間の推論ギャップを定量化することにより,ボーナスや部分マークの割り当てが可能である。
  論文  参考訳（メタデータ） (2024-05-26T21:33:27Z)
• Sample-Efficient Human Evaluation of Large Language Models via Maximum Discrepancy Competition [46.949604465227054]
  そこで我々は,MAD(Maximum Discrepancy)コンペティションに基づく,サンプル効率のよい人的評価手法を提案する。 MAD は2つの LLM に適応した情報的かつ多様な命令群を自動的に選択する。 ペア比較の結果は、Eloレーティングシステムを用いてグローバルランキングに集約される。
  論文  参考訳（メタデータ） (2024-04-10T01:26:24Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• PROXYQA: An Alternative Framework for Evaluating Long-Form Text Generation with Large Language Models [72.57329554067195]
  ProxyQAは、長文生成を評価するための革新的なフレームワークである。 さまざまなドメインにまたがる詳細なヒューマンキュレートされたメタクエストで構成されており、それぞれに事前にアノテートされた回答を持つ特定のプロキシクエストが伴っている。 プロキシクエリに対処する際の評価器の精度を通じて、生成されたコンテンツの品質を評価する。
  論文  参考訳（メタデータ） (2024-01-26T18:12:25Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)
• Style Over Substance: Evaluation Biases for Large Language Models [17.13064447978519]
  本研究では,大規模言語モデル(LLM)とともに,クラウドソースおよびエキスパートアノテータの挙動について検討する。 この結果から, 事実的誤りに対する回答は, 短すぎる, 文法的誤りを含む回答よりも好意的に評価され, 評価過程の偏りが示唆された。 評価面を1つのスコアにマージするのではなく,複数の次元にまたがるマシン生成テキストを独立に評価することを提案する。
  論文  参考訳（メタデータ） (2023-07-06T14:42:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。