論文の概要: Improving the Evaluation of Biomedical Question Answering with Few Human Preference Signals

• arxiv url: http://arxiv.org/abs/2610.16008v1
• Date: Mon, 12 Oct 2026 00:17:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 08:08:33.172188
• Title: Improving the Evaluation of Biomedical Question Answering with Few Human Preference Signals
• Title（参考訳）: 人選好信号の少ないバイオメディカル質問応答の評価の改善
• Abstract要約: そこで本研究では,少数の人選好信号を用いて直接評価評価指標を校正する方法を示す。 キャリブレーションされたメトリクスは、すべてのメトリクスを等しく扱うか、複数のデータセットにまたがる単一のベストメトリックに依存するベースラインを一貫して上回ります。
• 参考スコア（独自算出の注目度）: 11.433966689032806
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) systems are increasingly used for biomedical Question Answering (QA). However, evaluating their effectiveness remains challenging due to the lack of reliable reference resources and the frequent misalignment between automatic evaluation metrics and human judgments. One practical question is how evaluation results should be used to guide development decisions, especially when they correlate weakly with human judgments and may even lead to different conclusions. We explore how to use a small amount of human preference signals to calibrate direct assessment evaluation metrics, and show that calibrated metrics consistently outperform baselines that either treat all metrics equally or rely on a single best metric across multiple datasets.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) システムは、バイオメディカル質問応答 (QA) にますます利用されている。 しかし、信頼性の高い基準資源の欠如や、自動評価指標と人的判断の誤調整が頻発しているため、その有効性を評価することは依然として困難である。 1つの現実的な疑問は、開発決定を導くために評価結果をどのように使うべきか、特に人間の判断と弱い相関関係を持ち、異なる結論に至る可能性がある場合である。 我々は、少数の人間の選好信号を使って直接評価評価指標を校正する方法を探り、校正された指標が、すべての指標を等しく扱う基準線を一貫して上回っているか、複数のデータセットにまたがる最高の指標に頼っているかを示す。

関連論文リスト

• Correcting Human Labels for Rater Effects in AI Evaluation: An Item Response Theory Approach [0.0]
  本稿では,人間の判断による結論の信頼性と妥当性を向上させるため,心理測定レーダモデルをAIパイプラインに統合する。 本研究では, レーダ重大度に対する調整が, 要約品質の補正された推定値をいかに生み出すかを示す。 この視点は、AI開発と評価のためのより堅牢で解釈可能な、構成整合したプラクティスへの道のりを強調している。
  論文  参考訳（メタデータ） (2026-02-26T03:35:36Z)
• Is Reference Necessary in the Evaluation of NLG Systems? When and Where? [58.52957222172377]
  基準自由度は人間の判断と高い相関を示し,言語品質の低下に対する感度が高いことを示す。 本研究は,自動測定の適切な適用方法と,測定値の選択が評価性能に与える影響について考察する。
  論文  参考訳（メタデータ） (2024-03-21T10:31:11Z)
• What is the Best Automated Metric for Text to Motion Generation? [19.71712698183703]
  自然言語の記述から骨格に基づく人間の動きを生成することへの関心が高まっている。 人間の評価は、このタスクの究極の精度測定であり、自動化されたメトリクスは、人間の品質判断とよく相関するべきである。 本稿では,どの指標が人間の評価に最も適しているかを体系的に検討し,さらに適合する新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-09-19T01:59:54Z)
• Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
  人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• An Investigation of Evaluation Metrics for Automated Medical Note Generation [5.094623170336122]
  医療談話から臨床メモの自動生成のための評価方法と指標について検討した。 自動計測値と手動判定値の相関性を検討するために,システムと参照事実を比較して,自動メモ・要約の評価を行った。
  論文  参考訳（メタデータ） (2023-05-27T04:34:58Z)
• Revisiting Automatic Question Summarization Evaluation in the Biomedical Domain [45.78632945525459]
  我々は,生物医学的質問要約タスクの4つの側面から,要約品質の人間による評価を行う。 人間の判断に基づいて、現在の自動メトリクスと要約システムで注目すべき特徴を識別する。
  論文  参考訳（メタデータ） (2023-03-18T04:28:01Z)
• Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
  要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。 細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。 ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
  論文  参考訳（メタデータ） (2022-12-15T17:26:05Z)
• Consultation Checklists: Standardising the Human Evaluation of Medical Note Generation [58.54483567073125]
  本稿では,コンサルテーションチェックリストの評価を基礎として,客観性向上を目的としたプロトコルを提案する。 このプロトコルを用いた最初の評価研究において,アノテータ間合意の良好なレベルを観察した。
  論文  参考訳（メタデータ） (2022-11-17T10:54:28Z)
• Re-Examining System-Level Correlations of Automatic Summarization Evaluation Metrics [64.81682222169113]
  システムレベルの相関により, 要約品質の人的判断を再現する自動要約評価指標を確実に定量化する。 システムレベルの相関の定義が、実際にシステムを評価するためにメトリクスがどのように使われているかと矛盾する2つの方法を特定する。
  論文  参考訳（メタデータ） (2022-04-21T15:52:14Z)
• Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics [64.88815792555451]
  評価法は, 評価に用いる翻訳に非常に敏感であることを示す。 本研究では,人的判断に対する自動評価基準の下で,性能改善をしきい値にする方法を開発した。
  論文  参考訳（メタデータ） (2020-06-11T09:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。