論文の概要: SciClaimSeekers at CheckThat! 2026: Retrieving Scientific Sources for Social Media Claims with LLM Reranking
- arxiv url: http://arxiv.org/abs/2607.24803v1
- Date: Mon, 06 Jul 2026 16:36:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:39.075449
- Title: SciClaimSeekers at CheckThat! 2026: Retrieving Scientific Sources for Social Media Claims with LLM Reranking
- Title（参考訳）: SciClaimSeekers at CheckThat! 2026: Retrieving Scientific Sources for Social Media Claims with LLM Re rank
- Abstract要約: SciClaimSeekersは検索および再ランクフレームワークである。
BM25とゼロショット多言語E5検索とReciprocal Rank Fusionを組み合わせたシステムである。
我々の実験は、大きな事前訓練されたモデルが、注意深いパイプラインに組み合わされると、このタスクで競合する可能性があることを示唆している。
- 参考スコア（独自算出の注目度）: 3.969046654861534
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scientific claims often spread on social media faster than they can be verified, while posts rarely link to the original scholarly sources. To tackle this problem this paper presents system called SciClaimSeekers, a retrieval and reranking framework by combining BM25 and zero-shot multilingual E5 retrieval with Reciprocal Rank Fusion (k=60), followed by Qwen2.5-14B-Instruct pointwise reranking. The pipeline reaches 64.36% MRR@5 on the English development set a 13.67-point jump over BM25 and 10.17 points over the unranked hybrid and 64.39% on the official test set, in the CLEF-2026 CheckThat! Task 1 evaluation. Our experiment suggests that large pre-trained models, when combined into a careful pipeline, can be competitive with fine-tuned approaches on this task.
- Abstract（参考訳）: 科学的な主張は、検証できるよりも早くソーシャルメディアに広まり、記事は元の学術資料にはほとんど関連しない。
そこで本研究では,BM25とゼロショット多言語E5検索を相互ランクフュージョン(k=60)と組み合わせ,Qwen2.5-14B-インストラクションのポイントワイド・インストラクションを併用した,SciClaimSeekersというシステムを提案する。
パイプラインはイギリスの開発機で64.36%のMRR@5に達し、BM25を13.67点、ハイブリッド機で10.17点、公式テスト機で64.39%、CLEF-2026 CheckThat!
タスク1 評価。
我々の実験は、大きな事前学習されたモデルが、注意深いパイプラインに組み合わされると、このタスクの微調整されたアプローチと競合する可能性があることを示唆している。
関連論文リスト
- Comparing Retrieval Methods for Academic Advisor Discovery: A Six-Method Study of 768 CS Faculty Profiles Across 9 US Universities [0.0]
メソッドは、スパース語彙マッチング、TF-IDF、BM25、密接なセマンティック検索、ハイブリッドスコア融合、学習 to rankにまたがる。
本稿では,6つの情報検索手法の比較評価を行った。
論文 参考訳（メタデータ） (2026-09-03T14:19:14Z) - PaperGym: Rubric-Centered Evolution for Research-Plan Generation [69.5921878728483]
各研究論文を完全なトレーニング環境に変換する統合フレームワークであるPaperGymを紹介する。
PaperGymは論文の構造を利用しており、質問は研究目標と背景から合成され、基準は手法と実験から導かれる。
レシピが固定され、PaperGym-20kで訓練されたモデルが3方向比較の58.1%を獲得し、Hub Scienceの28.2%が勝利した。
論文 参考訳（メタデータ） (2026-08-31T17:31:18Z) - From Interpretability to Control: Insights from Six Years of the TrustNLP Workshop [63.00693129203923]
The Workshop on Trustworthy Natural Language Processingは8つの論文から6つのエディションで41に成長した。
我々は、144の手続き書類から洞察を合成し、確立されたフレームワークに根ざした6つの信頼次元に沿ってそれらを分類する。
分類研究による分析によると、真理は最も成長の早い次元である(2021-2022年、2025-2026年までに論文の37%を占める)。
論文 参考訳（メタデータ） (2026-08-11T17:30:16Z) - SciRet: A Compute-Aware Empirical Study of Retrieval and Reranking for Scientific RAG [0.0]
我々は,CORD-19上での科学的質問応答に対する検索強化生成をコンピュータに認識した実証研究であるSciRetを紹介した。
我々は, 1,034チャンク (1K論文), 5,160チャンク (5K論文), 15,480チャンク (15K論文) の3つのコーパススケールにわたる固定科学的RAGパイプラインの評価を行った。
これらの設定全体では、ハイブリッド検索はスパースオンリーまたは密度オンリーの検索よりも堅牢で、1Kおよび15Kで1.000のRecall@10に達する。
論文 参考訳（メタデータ） (2026-08-04T16:04:07Z) - Sifei at SemEval-2026 Task 8: Hybrid Retrieval and Query Rewriting for Multi-Turn RAG [2.9721401411878254]
ユーザ意図の進化,会話ノイズ,厳密なコンテキスト制限により,マルチターン検索拡張生成(RAG)は困難である。
本研究では,SemEval-2026タスク8のトレーニング不要なハイブリッド検索パイプラインを提案する。
論文 参考訳（メタデータ） (2026-06-05T07:28:01Z) - ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research [142.29356526274387]
我々は自律的な科学的研究を評価するためのベンチマークであるResearchClawBenchを紹介する。
各タスクは、実際の論文に基づき、関連する文献や生データを提供し、評価中に対象の論文を隠蔽する。
論文 参考訳（メタデータ） (2026-05-28T16:27:40Z) - Soohak: A Mathematician-Curated Benchmark for Evaluating Research-level Math Capabilities of LLMs [86.49905745865038]
Soohakは64人の数学者によって新たに書かれた439プロブレムのベンチマークである。
データセットは2026年後半に公開され、中間で要求に応じてモデル評価が利用可能になる。
論文 参考訳（メタデータ） (2026-05-09T17:14:22Z) - Hybrid Retrieval for COVID-19 Literature: Comparing Rank Fusion and Projection Fusion with Diversity Reranking [0.0]
本稿では,TREC-COVIDベンチマークで評価した,COVID-19の科学的文献のハイブリッド検索システムについて述べる。
このシステムはスパース(SPLADE)、密度(BGE)、ランクレベル融合(RRF)、投影ベースベクトル融合(B5)の6つの検索構成を実装している。
RRF融合は最も高い関連性(nDCG@10 = 0.828)を達成し、密度のみを6.1%、スパースのみを14.9%上回る。
論文 参考訳（メタデータ） (2026-04-15T11:05:46Z) - SAGE: Benchmarking and Improving Retrieval for Deep Research Agents [60.53966065867568]
SAGEは4つの科学領域にわたる1200のクエリからなる科学文献検索のためのベンチマークであり、20万の論文検索コーパスを備える。
6つのディープ・リサーチ・エージェントを評価し,全てのシステムが推論集約的な検索に苦しむことを発見した。
BM25は、既存のエージェントがキーワード指向のサブクエリを生成するため、LLMベースのレトリバーを約30%上回っている。
論文 参考訳（メタデータ） (2026-02-05T18:25:24Z) - Evaluating Hybrid Retrieval Augmented Generation using Dynamic Test Sets: LiveRAG Challenge [8.680958290253914]
本稿では,動的テストセット上での検索強化生成システム(RAG)の評価を行うLiveRAG Challenge 2025を提案する。
我々の最後のハイブリッドアプローチはスパース (BM25) と高密度 (E5) の検索手法を組み合わせたものである。
RankLLaMA を用いたニューラルリランクでは MAP は0.523 から 0.797 に向上するが,計算コストは禁忌である。
論文 参考訳（メタデータ） (2025-06-27T21:20:43Z) - Deep Retrieval at CheckThat! 2025: Identifying Scientific Papers from Implicit Social Media Mentions via Hybrid Retrieval and Re-Ranking [4.275139302875217]
CLEF CheckThat! 2025コンペティションのサブタスク4bに対するDeep Retrievalチームの方法論と結果を示す。
本稿では,語彙的精度,意味的一般化,文脈的再ランク付けを併用したハイブリッド検索パイプラインを提案する。
提案手法は, 開発セットで76.46%, 隠されたテストセットで66.43%の平均相反ランクを5 (MRR@5) 達成する。
論文 参考訳（メタデータ） (2025-05-29T08:55:39Z) - ReasonIR: Training Retrievers for Reasoning Tasks [139.54343970560103]
ReasonIR-8Bは一般的な推論タスクのために特別に訓練された最初のレトリバーである。
新たに29.9 nDCG@10をリランカなしで、36.9 nDCG@10をリランカで達成している。
論文 参考訳（メタデータ） (2025-04-29T09:49:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。