論文の概要: An Experimental Study of Hybrid Retrieval, NLI and Open-source LLMs for Scientific Claim Verification

• arxiv url: http://arxiv.org/abs/2611.03093v1
• Date: Mon, 02 Nov 2026 13:12:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.603101
• Title: An Experimental Study of Hybrid Retrieval, NLI and Open-source LLMs for Scientific Claim Verification
• Title（参考訳）: 科学的クレーム検証のためのハイブリッド検索, NLI, オープンソースLLMの実験的検討
• Abstract要約: 我々はSciFactとCliniFactの2,035のクレームのベンチマークを構築した。 我々は,セマンティック・レキシカル・検索(BM25)のハイブリッドを用いて,クレーム毎に最も関連性の高い5つの文を検索する。 我々は,DeBERTa-v3-base-mnli-fever-anli NLIベースラインをLlama 3.1 8B,Qwen3 8B,Mistral 7Bと比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Claim verification is the task of deciding whether a source text supports a claim, contradicts it, or lacks sufficient evidence. Natural Language Inference (NLI) models can judge whether a single sentence supports or contradicts a claim, but they struggle when the evidence is spread across several sentences. Conversely, Large Language Models (LLMs) can reason across sentences, but may draw conclusions the text does not support. In this experimental study, we test whether a conservative fusion rule, labeling a claim Support or Contradict only when both models agree and defaulting to Not Enough Evidence otherwise, combines their strengths. We construct a benchmark of 2,035 claims from SciFact and CliniFact (858 Support, 152 Contradict, 1,025 Not Enough Evidence). We retrieve the top five most relevant sentences per claim using a hybrid of semantic and lexical (BM25) retrieval, which slightly outperforms either method alone. These retrieved sentences are then provided to every verification model. We then compare a DeBERTa-v3-base-mnli-fever-anli NLI baseline against Llama 3.1 8B, Qwen3 8B, and Mistral 7B. Qwen3 achieves the highest Macro-F1 (0.7937), followed by Llama 3.1 (0.7204) and Mistral (0.6388), while the NLI baseline reaches only 0.3157. Contrary to our hypothesis, fusion degrades performance, dropping Macro-F1 to 0.7392, 0.6730, and 0.5991, respectively. To understand this decline, we analyze agreements, disagreements, and common error patterns between the NLI and LLM verifiers. Our error analysis shows that NLI and LLM disagreements often result in correct LLM predictions being overturned.
• Abstract（参考訳）: クレーム検証は、ソーステキストがクレームをサポートするか、矛盾するか、あるいは十分な証拠がないかを判断するタスクである。 自然言語推論(NLI)モデルは、一つの文がクレームをサポートするか矛盾するかを判断できるが、複数の文にまたがる証拠の拡散に苦慮する。 逆に、Large Language Models (LLM) は文をまたいで推論できるが、テキストがサポートしていない結論を引き出すこともある。 本研究では,両モデルが一致した場合にのみクレームサポートやコントラディクトをラベル付けした保守的融合ルールが,その強みを組み合わさったものであるかどうかを検証した。 SciFactとCliniFactの2,035のクレーム(858のサポート、152Contradict、1,025 Not Enough Evidence)のベンチマークを構築した。 セマンティック・レキシカル検索(BM25)のハイブリッドを用いて,クレーム毎に最も関連性の高い5つの文を検索する。 これらの検索された文は、すべての検証モデルに提供される。 次に、DeBERTa-v3-base-mnli-fever-anli NLIベースラインをLlama 3.1 8B、Qwen3 8B、Mistral 7Bと比較する。 Qwen3 は最高値 Macro-F1 (0.7937)、続いて Llama 3.1 (0.7204)、Mistral (0.6388)、NLI のベースラインは 0.3157 である。 我々の仮説とは対照的に、融合は性能を低下させ、マクロ-F1はそれぞれ0.7392、0.6730、0.5991に低下する。 この減少を理解するために,NLI と LLM 検証器間の合意,不一致,共通誤りパターンを解析した。 誤差解析により、NLIとLLMの相違がしばしば正しいLLM予測をオーバーターンすることを示した。

関連論文リスト

• When Citations Mislead? A Claim-Level Benchmark for Legal Hallucination Detection [0.0]
  PARCELは、法的な主張が根底にある当局によって支持されているかどうかを確認するためのベンチマークである。 最近のニューヨーク州控訴裁判所の判断により、我々は3,396件の括弧状クレームのデータセットを構築しました。 最強のモデルは0.97の精度に達するが、結果は重要な弱点も示している。
  論文  参考訳（メタデータ） (2026-10-07T22:43:56Z)
• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• Evidence-Grounded Ensemble Diagnosis of 802.11 Packet Captures: A Multi-Stage Pipeline with Deterministic Reliability Scoring [1.0170129555792935]
  802.11パケットキャプチャの診断には、専門家のプロトコル知識が必要で、遅く、エンジニア間で一貫性がなく、スケールできない。 LLMベースのアプローチは、キャプチャーから欠落するが製造されたプロトコルイベントを聴取し、未校正された信頼スコアを生成し、テスト中のモデルによって黄金の基準が共同生成されると評価バイアスを被る。 PROBEは3つの障害に対処する多段階パイプラインである。
  論文  参考訳（メタデータ） (2026-06-05T03:39:58Z)
• DeepSciVerify: Verifying Scientific Claim--Citation Alignment via LLM-Driven Evidence Escalation [39.146761527401424]
  本稿では,科学的クレーム引用検証のための2段階パイプラインであるDeepSciVerifyを紹介する。 このシステムはまず, 要約を用いてクレームを検証し, 必要な場合にのみ全文を検索, 解析する。
  論文  参考訳（メタデータ） (2026-05-26T21:33:29Z)
• On Reference (In-)Determinacy in Natural Language Inference [62.904689974282334]
  我々は、自然言語推論(NLI)タスクにおける基準決定性(RD)仮定を再考する。 我々は、現在のNLIモデルは、入力前提と仮説が異なるコンテキストを参照できる事実検証のような下流アプリケーションでは失敗するのを観察する。 NLI例における参照曖昧性を特定するための診断ベンチマークであるRefNLIを紹介する。
  論文  参考訳（メタデータ） (2025-02-09T06:58:13Z)
• Hypothesis-only Biases in Large Language Model-Elicited Natural Language Inference [3.0804372027733202]
  我々は,GPT-4,Llama-2,Mistral 7bを用いて,スタンフォードNLIコーパスの一部を再現した。 我々は仮説のみの分類器を訓練し、LLMによる仮説がアノテーションのアーティファクトを含んでいるかどうかを判断する。 我々の分析は、NLIにおける十分に証明されたバイアスがLLM生成データに持続できるという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-10-11T17:09:22Z)
• Reasons to Reject? Aligning Language Models with Judgments [72.39858230784002]
  言語フィードバックを用いた大規模言語モデル(LLM)の整合性について検討する。 本稿では,不適切なコンテンツ検出と判断に基づく修正が可能なコントラスト型異種訓練(Contrastive Unlikelihood Training, CUT)を提案する。 以上の結果から,CUTは175BのDaVinci003を破り,AlpacaEvalの50.84ポイントを達成できた。
  論文  参考訳（メタデータ） (2023-12-22T10:29:43Z)
• LM vs LM: Detecting Factual Errors via Cross Examination [22.50837561382647]
  言語モデル(LM)の事実性評価フレームワークを提案する。 私たちのキーとなる考え方は、間違ったクレームがモデルが生成する他のクレームと矛盾する可能性があるということです。 我々は,最近の複数のLMが4つのベンチマークで行った事実的主張に対して,本手法を実証的に評価した。
  論文  参考訳（メタデータ） (2023-05-22T17:42:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。