論文の概要: LGAR: Zero-Shot LLM-Guided Neural Ranking for Abstract Screening in Systematic Literature Reviews

• arxiv url: http://arxiv.org/abs/2505.24757v2
• Date: Fri, 06 Jun 2025 06:31:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.030446
• Title: LGAR: Zero-Shot LLM-Guided Neural Ranking for Abstract Screening in Systematic Literature Reviews
• Title（参考訳）: LGAR:Zero-Shot LLM-Guided Neural Ranking for Abstract Screening in Systematic Literature Reviews
• Authors: Christian Jaumann, Andreas Wiedholz, Annemarie Friedrich,
• Abstract要約: 体系的な文献レビューは、トピックに関するすべての関連論文を特定し評価することを目的としている。 現在までに、大型言語モデル(LLM)を用いた抽象的なスクリーニング手法はバイナリ分類設定に重点を置いている。 ゼロショットLLMガイド付き抽象ランクラであるLGARを提案する。
• 参考スコア（独自算出の注目度）: 0.9314555897827079
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The scientific literature is growing rapidly, making it hard to keep track of the state-of-the-art. Systematic literature reviews (SLRs) aim to identify and evaluate all relevant papers on a topic. After retrieving a set of candidate papers, the abstract screening phase determines initial relevance. To date, abstract screening methods using large language models (LLMs) focus on binary classification settings; existing question answering (QA) based ranking approaches suffer from error propagation. LLMs offer a unique opportunity to evaluate the SLR's inclusion and exclusion criteria, yet, existing benchmarks do not provide them exhaustively. We manually extract these criteria as well as research questions for 57 SLRs, mostly in the medical domain, enabling principled comparisons between approaches. Moreover, we propose LGAR, a zero-shot LLM Guided Abstract Ranker composed of an LLM based graded relevance scorer and a dense re-ranker. Our extensive experiments show that LGAR outperforms existing QA-based methods by 5-10 pp. in mean average precision. Our code and data is publicly available.
• Abstract（参考訳）: 科学文献は急速に成長しており、最先端の追跡を困難にしている。 体系的文献レビュー(SLR)は、トピックに関するすべての関連論文を特定し評価することを目的としている。 候補論文の集合を検索した後、抽象スクリーニングフェーズが初期関連性を決定する。 現在までに、大規模言語モデル(LLM)を用いた抽象的なスクリーニング手法はバイナリ分類設定に重点を置いており、既存の質問応答(QA)に基づくランキング手法はエラーの伝播に悩まされている。 LLMは、SLRの包含と排除基準を評価するユニークな機会を提供するが、既存のベンチマークはそれらを徹底的に提供していない。 我々はこれらの基準を手動で抽出し、主に医療領域における57個のSLRの研究課題を抽出し、アプローチ間の原則的な比較を可能にした。 また,LGAR,ゼロショットLLMガイド付き抽象ランク装置を提案し,LLMベースグレードレバレンススコアラと高密度リランカを備える。 以上の結果から,LGARは既存のQA法よりも5-10 pp。 平均的な精度です 私たちのコードとデータは公開されています。

関連論文リスト

• Likert or Not: LLM Absolute Relevance Judgments on Fine-Grained Ordinal Scales [3.4068099825211986]
  関連性判断を求める2つの最も一般的なプロンプトは、ポイントワイズとリストワイズランキングである。 現在の研究コミュニティのコンセンサスでは、リストワイドランキングは優れたパフォーマンスをもたらす。 この仮説と対立する中で、十分に大きな順序関係ラベル空間を用いてポイントワイドスコアリングを行うと、ポイントワイドスコアリングとリストワイドランキングのギャップが縮むことが分かる。
  論文  参考訳（メタデータ） (2025-05-25T21:41:35Z)
• Rank-R1: Enhancing Reasoning in LLM-based Document Rerankers via Reinforcement Learning [76.50690734636477]
  ランキングタスクを実行する前にユーザクエリと候補文書の両方を推論する新しいLCMベースのリランカである Rank-R1 を導入する。 TREC DL と BRIGHT データセットを用いた実験により,Ranc-R1 が特に複雑なクエリに対して非常に有効であることが判明した。
  論文  参考訳（メタデータ） (2025-03-08T03:14:26Z)
• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• LitLLMs, LLMs for Literature Review: Are we there yet? [15.785989492351684]
  本稿では,近年の大規模言語モデルのゼロショット能力について,要約に基づく文献レビューの執筆支援について考察する。 まず LLM を用いて,論文の要約から意味のあるキーワードを抽出する新しい2段階探索手法を提案する。 生成段階では、まずレビューの計画を概説し、次に実際のレビューを生成するためのステップを実行する2段階のアプローチを提案する。
  論文  参考訳（メタデータ） (2024-12-15T01:12:26Z)
• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• FineSurE: Fine-grained Summarization Evaluation using LLMs [22.62504593575933]
  FineSurEは,大規模言語モデル(LLM)を用いた要約タスクに適した,きめ細かい評価器である。 また、忠実さに加えて完全性と簡潔さの基準を採用し、多次元評価を可能にしている。
  論文  参考訳（メタデータ） (2024-07-01T02:20:28Z)
• Zero-shot Generative Large Language Models for Systematic Review Screening Automation [55.403958106416574]
  本研究では,ゼロショット大言語モデルを用いた自動スクリーニングの有効性について検討した。 本研究では, 8種類のLCMの有効性を評価し, 予め定義されたリコール閾値を用いた校正手法について検討する。
  論文  参考訳（メタデータ） (2024-01-12T01:54:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。