論文の概要: Tell Me Why: Explainable Public Health Fact-Checking with Large Language Models

• arxiv url: http://arxiv.org/abs/2405.09454v1
• Date: Wed, 15 May 2024 15:49:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-16 13:06:44.689859
• Title: Tell Me Why: Explainable Public Health Fact-Checking with Large Language Models
• Title（参考訳）: 大規模言語モデルによる説明可能な公衆衛生ファクトチェッキング
• Authors: Majid Zarharan, Pascal Wullschleger, Babak Behkam Kia, Mohammad Taher Pilehvar, Jennifer Foster,
• Abstract要約: 本稿では,大規模言語モデルによる公衆衛生クレームの検証に焦点をあてる。 各種オープンおよびクローズドソースモデルにおける0/fwショットプロンプトとパラメータ効率の微調整の有効性について検討する。
• 参考スコア（独自算出の注目度）: 21.280725490520798
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a comprehensive analysis of explainable fact-checking through a series of experiments, focusing on the ability of large language models to verify public health claims and provide explanations or justifications for their veracity assessments. We examine the effectiveness of zero/few-shot prompting and parameter-efficient fine-tuning across various open and closed-source models, examining their performance in both isolated and joint tasks of veracity prediction and explanation generation. Importantly, we employ a dual evaluation approach comprising previously established automatic metrics and a novel set of criteria through human evaluation. Our automatic evaluation indicates that, within the zero-shot scenario, GPT-4 emerges as the standout performer, but in few-shot and parameter-efficient fine-tuning contexts, open-source models demonstrate their capacity to not only bridge the performance gap but, in some instances, surpass GPT-4. Human evaluation reveals yet more nuance as well as indicating potential problems with the gold explanations.
• Abstract（参考訳）: 本稿では,大規模言語モデルによる公衆衛生クレームの検証と,その妥当性評価に関する説明や正当化に焦点をあて,一連の実験を通じて説明可能な事実チェックの包括的分析を行う。 各種オープンおよびクローズドソースモデルにおける0/fwショットプロンプトとパラメータ効率の微調整の有効性を検討した。 重要なことは、以前に確立された自動メトリクスと、人的評価による新しい基準セットからなる二重評価手法を採用することである。 我々の自動評価は、ゼロショットシナリオにおいて、GPT-4がスタンドアウトパフォーマーとして現れるが、少数ショットおよびパラメータ効率の良い微調整コンテキストにおいて、オープンソースのモデルは、性能ギャップを埋めるだけでなく、GPT-4を超越する能力を示す。 人間の評価は、さらにニュアンスを増し、金の説明に潜在的な問題を示す。

関連論文リスト

• LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
  我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。 ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-10-14T17:51:23Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Fine-tuning Large Language Models for Automated Diagnostic Screening Summaries [0.024105148723769353]
  我々は、精神状態検査から簡潔な要約を生成するために、いくつかの最先端の大規模言語モデル(LLM)を評価した。 確立されたROUGEメトリクスと人間評価器からの入力を用いて、要約生成のための4つの異なるモデルを厳格に評価する。 我々の最高性能の微調整モデルは既存のモデルより優れており、ROUGE-1とROUGE-Lはそれぞれ0.810と0.764である。
  論文  参考訳（メタデータ） (2024-03-29T12:25:37Z)
• Zero-Shot Multi-task Hallucination Detection [8.539639901976594]
  幻覚は、生成したテキストがソースへの忠実さを欠いているモデルにおいて、創発的な状態である。 幻覚を正式に定義し,ゼロショット設定における定量的検出のための枠組みを提案する。 幻覚検出では, モデル認識設定では0.78, モデル認識設定では0.61の精度が得られた。
  論文  参考訳（メタデータ） (2024-03-18T20:50:26Z)
• CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
  Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
  論文  参考訳（メタデータ） (2023-11-30T16:52:42Z)
• Evaluation Metrics in the Era of GPT-4: Reliably Evaluating Large Language Models on Sequence to Sequence Tasks [9.801767683867125]
  我々は,3つのNLPベンチマークの予備的およびハイブリッドな評価を,自動評価と人的評価の両方を用いて提供する。 ChatGPTは、ほとんどのメトリクスにおいて、人間のレビュアーによって、他の人気のあるモデルよりも一貫して優れています。 また、人間のレビュアーは、最高のモデルの出力よりも金の基準を格段に悪く評価し、多くの人気のあるベンチマークの品質が劣っていることを示している。
  論文  参考訳（メタデータ） (2023-10-20T20:17:09Z)
• SocREval: Large Language Models with the Socratic Method for Reference-Free Reasoning Evaluation [78.23119125463964]
  我々は,参照フリー推論評価における新規な設計手法であるSocREvalを開発した。 SocREvalはGPT-4の性能を大幅に改善し、既存の参照フリーおよび参照ベース推論評価指標を上回っている。
  論文  参考訳（メタデータ） (2023-09-29T18:25:46Z)
• OpenMEVA: A Benchmark for Evaluating Open-ended Story Generation Metrics [53.779709191191685]
  オープンエンドのストーリー生成指標を評価するためのベンチマークであるOpenMEVAを提案する。 OpenMEVAは、メトリクスの能力を評価するための包括的なテストスイートを提供する。 既存の指標は人間の判断と相関が低く、談話レベルの不整合を認識できず、推論知識が欠如していることが観察された。
  論文  参考訳（メタデータ） (2021-05-19T04:45:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。