論文の概要: VetScore: Risk-Weighted Fact Verification for Veterinary Long-Form QA with Citations

• arxiv url: http://arxiv.org/abs/2608.03675v1
• Date: Tue, 04 Aug 2026 13:49:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.227494
• Title: VetScore: Risk-Weighted Fact Verification for Veterinary Long-Form QA with Citations
• Title（参考訳）: VetScore:クッション付き獣医用長期QAにおけるリスク重み付きFact Verification
• Abstract要約: 獣医用長文質問応答のための多段階評価手法であるVetScoreを提案する。 VetScoreはまずアウトプットを分割し、個別のクレームに分解し、それぞれのクレームをその有害ポテンシャルに関してスコアする。 VetScoreは小判例においても獣医師と高い相関性を示す。
• 参考スコア（独自算出の注目度）: 2.8057294320770203
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Citation excerpts can be used to increase the reliability of generated outputs and their faithfulness to cited sources, which is especially important in high-stakes domains such as human and veterinary medicine. However, this does not guarantee that generated claims are faithful to the provided excerpts. We present VetScore, a multi-step evaluation method for veterinary long-form question answering, designed to assess how well are generated claims supported by the provided excerpts, weighing this information by each claim's harm potential. VetScore first segments the output and decomposes it into individual claims, then scores each claim with respect to its harm potential and evaluates its faithfulness to source excerpts, and finally calculates the overall risk-adjusted score. We collect an expert-annotated meta-evaluation dataset, evaluate our approach with a range of judge models, and show that it achieves high correlations with veterinary experts even with small judge models, while offering explainability across multiple dimensions.
• Abstract（参考訳）: 特にヒトや獣医学のような高用量領域において重要な引用源に対する、生成した出力の信頼性と忠実性を高めるために、引用の抜粋を用いることができる。 しかし、これは生成されたクレームが与えられた抜粋に忠実であることを保証するものではない。 本稿では,獣医用長期質問応答の多段階評価手法であるVetScoreを提案する。 VetScoreはまずアウトプットを分割し、個別のクレームに分解し、それぞれのクレームをその有害ポテンシャルについてスコアし、ソースの抽出に対する忠実さを評価し、最終的にリスク調整されたスコアを計算します。 我々は、専門家によるメタ評価データセットを収集し、さまざまな審査モデルを用いてアプローチを評価し、複数の次元にわたる説明性を提供しながら、小さな審査モデルであっても獣医師との高い相関性を実現することを示す。

関連論文リスト

• Enhancing Factuality through Consensus and Consistency in Summarization Using Minimum Bayes Risk Decoding [64.98167175790817]
  本稿では、ソース文書の一貫性と他の候補間のコンセンサスという2つの要因を考慮し、候補要約を再引用するConSUMを提案する。 我々のシステムは既存の手法と競合しており、人による評価により、生成した要約が他のシステムよりも好まれていることが確認されている。
  論文  参考訳（メタデータ） (2026-05-28T04:14:43Z)
• Towards Dependable Retrieval-Augmented Generation Using Factual Confidence Prediction [0.28932261919131014]
  検索プロセスの事実性に関する有意義な信頼度と生成した回答を関連付けることが重要である。 本稿では,新たな2段階の手法を提案する。 我々の研究は、幅広い自然言語産業応用のための新しいタイプの認証されたRAGシステムを確立するのに役立ちます。
  論文  参考訳（メタデータ） (2026-05-04T11:28:19Z)
• Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
  私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。 本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。 提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
  論文  参考訳（メタデータ） (2026-04-21T14:21:15Z)
• When Evidence Contradicts: Toward Safer Retrieval-Augmented Generation in Healthcare [0.05249805590164902]
  本研究では,医学関連クエリに対する応答生成における5つの大規模言語モデル(LLM)の性能について検討する。 以上の結果から,非常に類似した抽象概念間の矛盾は,実際に性能を低下させ,不整合を招き,モデル解答の事実的精度を低下させることが示された。
  論文  参考訳（メタデータ） (2025-11-10T03:27:54Z)
• Perplexity Trap: PLM-Based Retrievers Overrate Low Perplexity Documents [64.43980129731587]
  因果診断・矯正法(CDC)という因果推論時間脱バイアス法を提案する。 CDCはまず、パープレキシティのバイアス効果を診断し、その後、全体の関連スコアからバイアス効果を分離する。 3つの領域にまたがる実験結果から, より優れた脱バイアス効果が示された。
  論文  参考訳（メタデータ） (2025-03-11T17:59:00Z)
• Enhancing Health Information Retrieval with RAG by Prioritizing Topical Relevance and Factual Accuracy [0.7673339435080445]
  本稿では, 科学的根拠に基づく健康関連文書の検索を促進するために, RAG(Retrieval-Augmented Generation)を駆使した手法を提案する。 特に,3段階のモデルを提案する。第1段階では,科学的文献によって構成された知識ベースから,利用者のクエリを用いて,関連した項目を検索する。 第2段階では、これらのパスは初期クエリとともにLLMによって処理され、コンテキストに関連のあるリッチテキスト(GenText)を生成する。 最終段階では、検索対象の文書を評価・ランク付けする。
  論文  参考訳（メタデータ） (2025-02-07T05:19:13Z)
• Understanding the Impact of Confidence in Retrieval Augmented Generation: A Case Study in the Medical Domain [26.72234494972736]
  Retrieval Augmented Generation (RAG) は、クエリの応答精度を高めるために外部情報を活用することで、Large Language Models (LLM) の知識を補完する。 本研究は、RAGが医療領域におけるLCM出力の信頼性を向上させるかどうかを検討することに焦点を当てた。 我々は,モデルの予測確率をその出力として扱い,キャリブレーション誤差法,エントロピー,最適確率,精度などを含むいくつかの評価指標を計算することにより,信頼度を評価する。
  論文  参考訳（メタデータ） (2024-12-29T00:58:33Z)
• A Comparative Analysis of Faithfulness Metrics and Humans in Citation Evaluation [22.041561519672456]
  大型言語モデル(LLM)は、しばしば「幻覚」として知られる、サポートされていない、または検証できないコンテンツを生成する。 本稿では,3段階のサポートレベル間での引用を識別する上で,メトリクスの有効性を評価するための比較評価フレームワークを提案する。 以上の結果から,全ての評価において一貫した指標が存在しないことが示唆され,詳細なサポートレベルを正確に評価することの難しさが強調された。
  論文  参考訳（メタデータ） (2024-08-22T13:44:31Z)
• Explaining Length Bias in LLM-Based Preference Evaluations [52.141933285905885]
  本研究では,選好評価指標,特に勝率を,好ましさと情報量という2つの重要な要素に分解する。 応答長が情報量に影響を与えることにより評価に影響を及ぼすことを示す。 本稿では,利得率測定のための簡易かつ効果的な調整法であるAdapAlpacaを提案する。
  論文  参考訳（メタデータ） (2024-07-01T08:37:41Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いた新しいクエリ性能予測(QPP)フレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 我々は,オープンソースの大規模言語モデル (LLM) を用いて,科学的妥当性を確保することにより,項目の関連性を予測する。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• Towards objectively evaluating the quality of generated medical summaries [70.09940409175998]
  我々は,評価者に対して,生数から事実,計算精度,リコール,fスコア,精度を数えるように依頼する。 本研究は,主観的品質と精度の測定が最重要事項である医療報告要約の課題に適用する。
  論文  参考訳（メタデータ） (2021-04-09T15:02:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。