論文の概要: Overview of the NTCIR-19 SciClaimEval Task: Cross-modal Claim Verification in Scientific Papers
- arxiv url: http://arxiv.org/abs/2611.06090v1
- Date: Wed, 04 Nov 2026 07:33:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.014807
- Title: Overview of the NTCIR-19 SciClaimEval Task: Cross-modal Claim Verification in Scientific Papers
- Title(参考訳): NTCIR-19 SciClaimEvalタスクの概要:科学論文におけるクロスモーダルクレーム検証
- Abstract要約: 私たちのデータセットは、機械学習、自然言語処理、医療における180の論文と、テーブルと数字の対照的なバージョンをペアリングしています。
NTCIR-19のタスクの中では22チームが登録され、14チームが177本が提出された。
ほとんどのシステムはマルチモーダルな言語モデルに基づいており、タスク固有の微調整ではなく、プロンプトとマルチステージ推論に依存していた。
- 参考スコア(独自算出の注目度): 17.247893750935248
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents an overview of \emph{SciClaimEval}, a pilot task at NTCIR-19 on verifying scientific claims against the tables and figures of the papers in which they appear. Our dataset pairs authentic claims from 180 papers in machine learning, natural language processing, and medicine with contrastive versions of their tables and figures, one supporting the claim and one minimally modified so that it does not. The task comprises two subtasks: deciding whether a piece of evidence supports a claim, and selecting which of two evidence versions does. Twenty-two teams registered, the highest number among NTCIR-19 tasks, and 14 submitted 177 runs. Most systems built on multimodal large language models, relying on prompting and multi-stage inference rather than task-specific fine-tuning. On the first subtask, the best systems reached 98.1\% pair accuracy, but all six top-ranked systems relied on the contrastive pairs; the best system that judged each claim-evidence pair on its own scored 24.3 points lower. Open-weight models, embedded in carefully designed pipelines, matched proprietary ones. Yet verifying a single claim against its evidence, the setting that matters in practice, remains an open problem.
- Abstract(参考訳): 本稿は, NTCIR-19 のパイロット・タスクである \emph{SciClaimEval} の概要を述べる。
われわれのデータセットは、機械学習、自然言語処理、医学における180の論文と、それらの表と数字の対照的なバージョン、クレームをサポートする1つと、それをしないよう最小限に修正された1つをペアリングする。
このタスクは2つのサブタスクから構成される: 証拠の一部がクレームをサポートするかどうかを判断し、2つのエビデンスのバージョンのいずれかを選択する。
NTCIR-19のタスクの中では22チームが登録され、14チームが177本が提出された。
ほとんどのシステムはマルチモーダルな言語モデルに基づいており、タスク固有の微調整ではなく、プロンプトとマルチステージ推論に依存していた。
最初のサブタスクでは、最高のシステムは98.1\%の精度に達したが、上位6つのシステムは対照的なペアに依存していた。
慎重に設計されたパイプラインに埋め込まれたオープンウェイトモデルは、プロプライエタリなモデルと一致した。
しかし、その証拠に対する1つの主張、実際に重要な設定を検証することは、依然として未解決の問題である。
関連論文リスト
- Dual Exam: Controlled Evaluation of Multimodal Agents and World Models [183.81513687551828]
本稿では, エージェントを固定環境応答機構下で, エージェントを固定行動介入下で, ワールドモデルでテストするDual Examを紹介する。
エージェントトラックは15のレポートカテゴリで1,088項目の10構成を比較している。
World Modelのトラックには8つのシナリオにわたる400のケースが含まれている。
論文 参考訳(メタデータ) (2026-10-22T10:44:35Z) - SciTrue: Reliable Scientific Claim Validation with Frontier and Open Language Models at the NTCIR SciClaimEval Task [15.259880314614117]
11のフロンティアとオープンなマルチモーダルモデルを1つの正直なサンプル・プロトコルでベンチマークする。
SciTrueは4つのエビデンスカテゴリ/サブタスクの組み合わせのうち3つに明確なマージンを付けている。
論文 参考訳(メタデータ) (2026-09-01T03:30:45Z) - PRISMM-Bench: A Benchmark of Peer-Review Grounded Multimodal Inconsistencies [16.537126902822127]
PRISMM-Benchは、科学論文において、実際のレビュアーがフラッグした不整合に基づいた最初のベンチマークである。
不整合同定、治療、ペアマッチングという3つのタスクを設計し、不整合の検出、修正、推論を行うモデルの能力を評価する。
我々は、大きなオープンウェイトモデル(GLM-4.5V 106B、InternVL3 78B)やプロプライエタリモデル(Gemini 2.5 Pro、GPT-5)を含む21のLMMをベンチマークした。
論文 参考訳(メタデータ) (2025-10-18T13:46:26Z) - MuSciClaims: Multimodal Scientific Claim Verification [13.598508835610474]
診断タスクを伴う新しいベンチマーク MuSciClaims を導入する。
我々は科学論文から支持された主張を自動的に抽出し、矛盾する主張を生成するために手動で摂動する。
その結果、ほとんどの視覚言語モデルは貧弱(0.3-0.5 F1)であり、最高のモデルでさえ0.72 F1しか達成していないことがわかった。
論文 参考訳(メタデータ) (2025-06-05T02:59:51Z) - THiFLY Research at SemEval-2023 Task 7: A Multi-granularity System for
CTR-based Textual Entailment and Evidence Retrieval [13.30918296659228]
NLI4CTタスクは、臨床トライアル報告(CTR)に基づいて仮説を導き、正当化を支持する証拠を回収することを目的としている。
本稿では,CTRに基づくテキスト検索とエビデンス検索のための多粒度システムを提案する。
我々は,T5ベースモデルであるSciFiveを医療用コーパスで事前学習することで,システムの数値推論能力を向上させる。
論文 参考訳(メタデータ) (2023-06-02T03:09:31Z) - SCITAB: A Challenging Benchmark for Compositional Reasoning and Claim
Verification on Scientific Tables [68.76415918462418]
本報告では,1.2Kの専門的な科学的クレームからなる,挑戦的な評価データセットであるSCITABについて述べる。
広範な評価を通じて、SCITABは最先端のモデルに重大な課題をもたらすことを示した。
SCITABは,表の接地,主張のあいまいさ,構成的推論など,いくつかの独特な課題を明らかにした。
論文 参考訳(メタデータ) (2023-05-22T16:13:50Z) - Logically at Factify 2023: A Multi-Modal Fact Checking System Based on
Evidence Retrieval techniques and Transformer Encoder Architecture [3.7529756903595963]
本稿では,De-Factify 2 Challenge (DE-FACTIFY 2023) のマルチモーダル・ファクト・チェックの課題1について論じる。
本稿では, 証拠検索と選択手法, 事前学習したクロスモーダルモデルとユニモーダルモデル, 確立されたトランスフォーマー(TE)アーキテクチャに基づくクロスモーダル妥当性モデルについて述べる。
最後のシステムは、標準的な2段階の証拠に基づく精度検出システムであり、タスク1上のvalセットと最終ブラインドテストの両方において重み付き0.79を出力し、第3位を最上段に小さなマージンで達成する。
論文 参考訳(メタデータ) (2023-01-09T00:19:11Z) - SciRepEval: A Multi-Format Benchmark for Scientific Document
Representations [52.01865318382197]
SciRepEvalは、科学文書表現のトレーニングと評価のための最初の総合的なベンチマークである。
SPECTERやSciNCLのような最先端のモデルが、タスクフォーマットをまたいだ一般化にどのように苦労しているかを示す。
ドキュメント毎に複数の埋め込みを学習する新しいアプローチは、それぞれ異なるフォーマットに合わせて、パフォーマンスを改善することができる。
論文 参考訳(メタデータ) (2022-11-23T21:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。