論文の概要: Deep Retrieval at CheckThat! 2025: Identifying Scientific Papers from Implicit Social Media Mentions via Hybrid Retrieval and Re-Ranking

• arxiv url: http://arxiv.org/abs/2505.23250v1
• Date: Thu, 29 May 2025 08:55:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.770865
• Title: Deep Retrieval at CheckThat! 2025: Identifying Scientific Papers from Implicit Social Media Mentions via Hybrid Retrieval and Re-Ranking
• Title（参考訳）: ディープ・リトリーバル - CheckThat! 2025年: ハイブリット・リトリーバルとリランキングによるソーシャルメディアからの科学的論文の特定
• Authors: Pascal J. Sager, Ashwini Kamaraj, Benjamin F. Grewe, Thilo Stadelmann,
• Abstract要約: CLEF CheckThat! 2025コンペティションのサブタスク4bに対するDeep Retrievalチームの方法論と結果を示す。 本稿では,語彙的精度,意味的一般化,文脈的再ランク付けを併用したハイブリッド検索パイプラインを提案する。 提案手法は, 開発セットで76.46%, 隠されたテストセットで66.43%の平均相反ランクを5 (MRR@5) 達成する。
• 参考スコア（独自算出の注目度）: 4.275139302875217
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present the methodology and results of the Deep Retrieval team for subtask 4b of the CLEF CheckThat! 2025 competition, which focuses on retrieving relevant scientific literature for given social media posts. To address this task, we propose a hybrid retrieval pipeline that combines lexical precision, semantic generalization, and deep contextual re-ranking, enabling robust retrieval that bridges the informal-to-formal language gap. Specifically, we combine BM25-based keyword matching with a FAISS vector store using a fine-tuned INF-Retriever-v1 model for dense semantic retrieval. BM25 returns the top 30 candidates, and semantic search yields 100 candidates, which are then merged and re-ranked via a large language model (LLM)-based cross-encoder. Our approach achieves a mean reciprocal rank at 5 (MRR@5) of 76.46% on the development set and 66.43% on the hidden test set, securing the 1st position on the development leaderboard and ranking 3rd on the test leaderboard (out of 31 teams), with a relative performance gap of only 2 percentage points compared to the top-ranked system. We achieve this strong performance by running open-source models locally and without external training data, highlighting the effectiveness of a carefully designed and fine-tuned retrieval pipeline.
• Abstract（参考訳）: CLEF CheckThatのサブタスク4bに対するDeep Retrievalチームの方法論と結果を示す。 2025年のコンペは、ソーシャルメディアの投稿に関する関連する科学文献の検索に焦点を当てている。 この課題に対処するために,語彙の精度,意味的一般化,文脈の深い再分類を組み合わせたハイブリッド検索パイプラインを提案する。 具体的には,BM25をベースとしたキーワードマッチングとFAISSベクターストアを組み合わせることで,密接なセマンティック検索を実現したINF-Retriever-v1モデルを提案する。 BM25は上位30の候補を返し、セマンティックサーチは100の候補を出力し、その候補は大型言語モデル(LLM)ベースのクロスエンコーダを介してマージされ、再ランクされる。 提案手法は,開発セットにおいて76.46%,隠れテストセットで66.43%,開発リーダボード上で第1位,テストリーダボード(31チーム中)で第3位を獲得し,上位システムと比較して相対的なパフォーマンスギャップは2ポイントに過ぎなかった。 オープンソースモデルをローカルかつ外部のトレーニングデータなしで実行することで、この強力なパフォーマンスを実現し、慎重に設計され、微調整されたパイプラインの有効性を強調します。

関連論文リスト

• From Retrieval to Generation: Comparing Different Approaches [15.31883349259767]
  我々は,知識集約型タスクに対する検索ベース,生成ベース,ハイブリッドモデルの評価を行った。 我々は、高密度レトリバー、特にDPRは、NQ上でトップ1の精度が50.17%のODQAにおいて高い性能を発揮することを示す。 また、WikiText-103を用いて言語モデリングタスクを解析し、BM25のような検索に基づくアプローチは、生成的手法やハイブリッド手法に比べて難易度が低いことを示す。
  論文  参考訳（メタデータ） (2025-02-27T16:29:14Z)
• ASRank: Zero-Shot Re-Ranking with Answer Scent for Document Retrieval [16.434748534272014]
  ASRankは、ゼロショット応答の匂いを用いた検索された文書のスコアリングに基づく、新たなランク付け手法である。 NQのTop-1検索精度は、MSSが19.2%、MSSが46.5%、BM25が22.1%、BM25が47.3%に向上した。
  論文  参考訳（メタデータ） (2025-01-25T15:27:40Z)
• Tree Search for Language Model Agents [69.43007235771383]
  対話型Web環境での探索と多段階計画を行うために,LMエージェントの推論時探索アルゴリズムを提案する。 我々のアプローチは、実環境空間内で機能する最優先木探索の一形態である。 現実的なWebタスクにおいて有効性を示すLMエージェントのための最初の木探索アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-01T17:07:55Z)
• ACE: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  我々は、エンドツーエンドのクロスモーダル検索のための先駆的なジェネリッククロスモーダル rEtrieval framework (ACE) を提案する。 ACEは、クロスモーダル検索における最先端のパフォーマンスを達成し、Recall@1の強いベースラインを平均15.27%上回る。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• Generative Relevance Feedback and Convergence of Adaptive Re-Ranking: University of Glasgow Terrier Team at TREC DL 2023 [20.95345024616033]
  本稿では,TREC 2023 Deep Learning Trackへの参加について述べる。 我々は、ゼロショットと擬似関連の両方のフィードバック設定において、大きな言語モデルから生成的関連性フィードバックを適用するランを提出した。 生成的クエリ再構成の適用により,性能が向上した。
  論文  参考訳（メタデータ） (2024-05-02T09:36:00Z)
• Hybrid Retrieval and Multi-stage Text Ranking Solution at TREC 2022 Deep Learning Track [22.81602641419962]
  本稿では,ハイブリッドテキスト検索と多段階テキストランキング法について解説する。 ランキング段階では,大規模な事前学習言語モデルに基づく対話型ランキングモデルに加えて,軽量なサブランクモジュールも提案する。 本モデルでは, 通過ランキングと文書ランキングの試験セットにおいて, それぞれ第1位と第4位を達成している。
  論文  参考訳（メタデータ） (2023-08-23T09:56:59Z)
• Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting [65.00288634420812]
  Pairwise Ranking Prompting (PRP)は、大規模言語モデル(LLM)の負担を大幅に軽減する手法である。 本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
  論文  参考訳（メタデータ） (2023-06-30T11:32:25Z)
• Query Expansion Using Contextual Clue Sampling with Language Models [69.51976926838232]
  本稿では,実効的なフィルタリング戦略と検索した文書の融合の組み合わせを,各文脈の生成確率に基づいて提案する。 我々の語彙マッチングに基づくアプローチは、よく確立された高密度検索モデルDPRと比較して、同様のトップ5/トップ20検索精度と上位100検索精度を実現する。 エンド・ツー・エンドのQAでは、読者モデルも我々の手法の恩恵を受けており、いくつかの競争基準に対してエクサクト・マッチのスコアが最も高い。
  論文  参考訳（メタデータ） (2022-10-13T15:18:04Z)
• CoRT: Complementary Rankings from Transformers [8.37609145576126]
  CoRTは、事前訓練された言語モデルからコンテキスト表現を活用する、単純なニューラルネットワークファーストステージランキングモデルである。 BM25を補うことで,CoRTは候補者のリコールを著しく向上させることを示した。 さらに,CoRTを用いた経路探索は驚くほど低レイテンシで実現可能であることを実証した。
  論文  参考訳（メタデータ） (2020-10-20T13:28:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。