論文の概要: Dense Retrieval with Continuous Explicit Feedback for Systematic Review Screening Prioritisation
- arxiv url: http://arxiv.org/abs/2407.00635v2
- Date: Wed, 17 Jul 2024 10:26:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-10 20:44:05.958725
- Title: Dense Retrieval with Continuous Explicit Feedback for Systematic Review Screening Prioritisation
- Title（参考訳）: 連続的明示的フィードバックを付加した高密度検索による全身的スクリーニング
- Authors: Xinyu Mao, Shengyao Zhuang, Bevan Koopman, Guido Zuccon,
- Abstract要約: 体系的なレビューにおいて優先順位付けをスクリーニングする目的は、関連文書を高いリコールで識別し、レビューの早い段階でランク付けすることである。
近年の研究では、ニューラルモデルがこのタスクに有意なポテンシャルがあることが示されているが、それらの時間を要する微調整と推論は、優先順位付けのスクリーニングに広く使用されることを妨げている。
ニューラルモデルに引き続き依存する代替アプローチを提案するが、高密度表現と関連フィードバックを活用してスクリーニングの優先順位付けを強化する。
- 参考スコア（独自算出の注目度）: 28.80089773616623
- License:
- Abstract: The goal of screening prioritisation in systematic reviews is to identify relevant documents with high recall and rank them in early positions for review. This saves reviewing effort if paired with a stopping criterion, and speeds up review completion if performed alongside downstream tasks. Recent studies have shown that neural models have good potential on this task, but their time-consuming fine-tuning and inference discourage their widespread use for screening prioritisation. In this paper, we propose an alternative approach that still relies on neural models, but leverages dense representations and relevance feedback to enhance screening prioritisation, without the need for costly model fine-tuning and inference. This method exploits continuous relevance feedback from reviewers during document screening to efficiently update the dense query representation, which is then applied to rank the remaining documents to be screened. We evaluate this approach across the CLEF TAR datasets for this task. Results suggest that the investigated dense query-driven approach is more efficient than directly using neural models and shows promising effectiveness compared to previous methods developed on the considered datasets. Our code is available at https://github.com/ielab/dense-screening-feedback.
- Abstract（参考訳）: 体系的なレビューにおいて優先順位付けをスクリーニングする目的は、関連文書を高いリコールで識別し、レビューの早い段階でランク付けすることである。
これにより、停止基準と組み合わせればレビューの労力を節約し、下流タスクと並行して実行すればレビューの完了をスピードアップする。
近年の研究では、ニューラルモデルがこのタスクに有意なポテンシャルがあることが示されているが、それらの時間を要する微調整と推論は、優先順位付けのスクリーニングに広く使用されることを妨げている。
本稿では,ニューラルモデルに引き続き依存する代替手法を提案するが,高密度表現と関連フィードバックを利用してスクリーニングの優先順位付けを向上する。
本手法は,文書スクリーニング中のレビュアーからの連続的関連性フィードバックを利用して,高密度なクエリ表現を効率よく更新する。
本課題に対するCLEF TARデータセットに対するこのアプローチの評価を行った。
以上の結果から,提案手法はニューラルモデルを直接使用するよりも効率的であり,検討したデータセット上で開発された従来の手法と比較して有望な有効性を示すことが示唆された。
私たちのコードはhttps://github.com/ielab/dense-screening-feedback.comから入手可能です。
関連論文リスト
- Are We Wasting Time? A Fast, Accurate Performance Evaluation Framework
for Knowledge Graph Link Predictors [4.31947784387967]
より大規模な知識グラフでは、ランク付けプロセスは急速に重くなります。
従来のアプローチでは、エンティティのランダムサンプリングを使用して、メソッドによって予測または提案されるリンクの品質を評価していた。
得られた評価基準が真の結果を適切に反映していないため,本手法には深刻な限界があることが示されている。
本稿では,リレーショナルリコメンデータを用いて候補の選択を誘導するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-25T15:44:46Z) - Sample Complexity of Preference-Based Nonparametric Off-Policy
Evaluation with Deep Networks [58.469818546042696]
我々は、OPEのサンプル効率を人間の好みで研究し、その統計的保証を確立する。
ReLUネットワークのサイズを適切に選択することにより、マルコフ決定過程において任意の低次元多様体構造を活用できることが示される。
論文 参考訳（メタデータ） (2023-10-16T16:27:06Z) - Generating Natural Language Queries for More Effective Systematic Review
Screening Prioritisation [53.77226503675752]
現在の技術状況では、レビューの最終タイトルをクエリとして、BERTベースのニューラルランクラを使用してドキュメントのランク付けに使用しています。
本稿では,ChatGPT や Alpaca などの命令ベース大規模言語モデルによって生成される文書の検索に使用される Boolean クエリやクエリなど,スクリーニングを優先するクエリの代替源について検討する。
私たちのベストアプローチは、スクリーニング時に利用可能な情報に基づいて実現されるだけでなく、最終タイトルと同じような効果があります。
論文 参考訳（メタデータ） (2023-09-11T05:12:14Z) - Neural Rankers for Effective Screening Prioritisation in Medical
Systematic Review Literature Search [31.797257552928336]
本稿では,事前学習した言語モデルを,体系的なレビュー文書ランキングタスクに適用する。
経験的分析は、このタスクの従来の方法と比較して、ニューラルネットワークがいかに効果的かを比較する。
以上の結果から,BERTをベースとしたランカは,現在のスクリーニング方法よりも優れていた。
論文 参考訳（メタデータ） (2022-12-18T05:26:40Z) - Incorporating Relevance Feedback for Information-Seeking Retrieval using
Few-Shot Document Re-Ranking [56.80065604034095]
我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。
異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
論文 参考訳（メタデータ） (2022-10-19T16:19:37Z) - Sequential Learning Of Neural Networks for Prequential MDL [18.475866691786695]
ニューラルネットワークを用いた画像分類データセットの事前記述長の計算手法を評価する。
計算コストを考慮すると、リハーサルによるオンライン学習は好成績であることがわかった。
本稿では,画像分類データセットの集合に対する記述長について述べる。
論文 参考訳（メタデータ） (2022-10-14T16:30:23Z) - ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。
まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。
最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
論文 参考訳（メタデータ） (2022-07-14T17:46:37Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳（メタデータ） (2022-03-10T08:58:18Z) - Deep Reference Priors: What is the best way to pretrain a model? [27.705359364301458]
本稿では,参照先行理論を用いて疑問を定式化する。
参照先は、タスクとモデルの間の相互情報を最大化する客観的で非形式的ベイズ事前である。
本稿では,中規模深層ネットワークと画像ベースデータを対象とした参照先行の実証実験について述べる。
論文 参考訳（メタデータ） (2022-02-01T02:32:39Z) - Modeling Online Behavior in Recommender Systems: The Importance of
Temporal Context [30.894950420437926]
推薦システムの性能を評価するときの時間的文脈の省略が、いかに誤った自信をもたらすかを示す。
既存のモデルに時間的文脈をさらに埋め込むためのトレーニング手順を提案する。
その結果、時間的目標を含めれば、リコール@20を最大20%改善できることがわかった。
論文 参考訳（メタデータ） (2020-09-19T19:36:43Z) - S^3-Rec: Self-Supervised Learning for Sequential Recommendation with
Mutual Information Maximization [104.87483578308526]
本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。
そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。
6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
論文 参考訳（メタデータ） (2020-08-18T11:44:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。