論文の概要: (Fact) Check Your Bias

• arxiv url: http://arxiv.org/abs/2506.21745v1
• Date: Thu, 26 Jun 2025 20:03:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.004987
• Title: (Fact) Check Your Bias
• Title（参考訳）: (事実)バイアスの確認
• Authors: Eivind Morris Bakke, Nora Winger Heggelund,
• Abstract要約: パラメトリック知識バイアスがHerOシステム(FEVER-25のベースライン)の事実チェック結果に与える影響について検討する。 Llama 3.1は、直接、事実検証を行うよう促されたとき、その主張の半分近くを"Not Enough Evidence"とラベル付けしている。 第2の実験では,支持,反感,中立性のある事実チェック文書を生成するようモデルに促す。この結果から得られた証拠の約50%は,各視点に固有のものであるとともに,検索結果に大きく影響する。 得られた証拠の相違にもかかわらず、最終的な判定予測は、迅速な戦略をまたいだ安定性を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic fact verification systems increasingly rely on large language models (LLMs). We investigate how parametric knowledge biases in these models affect fact-checking outcomes of the HerO system (baseline for FEVER-25). We examine how the system is affected by: (1) potential bias in Llama 3.1's parametric knowledge and (2) intentionally injected bias. When prompted directly to perform fact-verification, Llama 3.1 labels nearly half the claims as "Not Enough Evidence". Using only its parametric knowledge it is able to reach a verdict on the remaining half of the claims. In the second experiment, we prompt the model to generate supporting, refuting, or neutral fact-checking documents. These prompts significantly influence retrieval outcomes, with approximately 50\% of retrieved evidence being unique to each perspective. Notably, the model sometimes refuses to generate supporting documents for claims it believes to be false, creating an inherent negative bias. Despite differences in retrieved evidence, final verdict predictions show stability across prompting strategies. The code is available at: https://github.com/eibakke/FEVER-8-Shared-Task
• Abstract（参考訳）: 自動事実検証システムは、ますます大きな言語モデル(LLM)に依存している。 これらのモデルにおけるパラメトリック知識バイアスがHerOシステム(FEVER-25のベースライン)のファクトチェック結果にどのように影響するかを検討する。 1)Llama 3.1のパラメトリック知識の潜在的なバイアス、(2)意図的に注入されたバイアス。 Llama 3.1は、直接事実検証を行うよう促されたとき、その主張の半分近くを"Not Enough Evidence"とラベル付けした。 パラメトリック知識のみを使用して、請求書の残り半分の判定に達することができる。 第2の実験では、モデルにサポート、反響、中立な事実チェック文書を生成するよう促す。 これらのプロンプトは、検索結果に大きな影響を与え、検索された証拠の約50%は、それぞれの視点に固有のものである。 特に、このモデルは、虚偽であると信じている主張を裏付ける文書を作成することを拒否し、固有の負のバイアスを生じさせることがある。 得られた証拠の相違にもかかわらず、最終的な判定予測は、迅速な戦略をまたいだ安定性を示す。 コードは以下の通り。 https://github.com/eibakke/FEVER-8-Shared-Task

関連論文リスト

• Retrieving Versus Understanding Extractive Evidence in Few-Shot Learning [4.230202411425062]
  大規模言語モデルにおける文書内証拠の検索と解釈の関係を解析する。 ラベル予測とエビデンス検索の誤りが関連する証拠の質に起因するかどうかを2つのアブレーション研究により調査する。
  論文  参考訳（メタデータ） (2025-02-19T20:48:09Z)
• Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
  近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。 本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2024-03-15T02:04:35Z)
• Causal Walk: Debiasing Multi-Hop Fact Verification with Front-Door Adjustment [27.455646975256986]
  因果ウォーク(Causal Walk)は、因果的視点からマルチホップ事実検証を嫌悪する新しい方法である。 その結果、Causal Walkは既存のデータセットと新しく構築されたデータセットの両方において、過去のデバイアス手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-05T06:28:02Z)
• Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
  証拠は、自動化された事実チェックにおいて重要な役割を果たす。 既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。 資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:01:19Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。