論文の概要: Towards Reducing Manual Workload in Technology-Assisted Reviews: Estimating Ranking Performance

• arxiv url: http://arxiv.org/abs/2201.05648v1
• Date: Fri, 14 Jan 2022 19:48:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 16:48:56.140530
• Title: Towards Reducing Manual Workload in Technology-Assisted Reviews: Estimating Ranking Performance
• Title（参考訳）: 技術支援レビューにおける手作業負荷削減に向けて--ランキングパフォーマンスの推定
• Authors: Grace E. Lee and Aixin Sun
• Abstract要約: 研究者が研究にラベルをつけると、関係する文書が無関係のものよりも高いランクの文書をスクリーニングすることができる。 本稿では,体系的レビューの文書ランキングの質について検討する。 SR文書のランキングを広範囲に分析した結果、SRのランキング品質に影響を与える要因として「トピックワイドネス」を仮定した。
• 参考スコア（独自算出の注目度）: 30.29371206568408
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Conducting a systematic review (SR) is comprised of multiple tasks: (i) collect documents (studies) that are likely to be relevant from digital libraries (eg., PubMed), (ii) manually read and label the documents as relevant or irrelevant, (iii) extract information from the relevant studies, and (iv) analyze and synthesize the information and derive a conclusion of SR. When researchers label studies, they can screen ranked documents where relevant documents are higher than irrelevant ones. This practice, known as screening prioritization (ie., document ranking approach), speeds up the process of conducting a SR as the documents labelled as relevant can move to the next tasks earlier. However, the approach is limited in reducing the manual workload because the total number of documents to screen remains the same. Towards reducing the manual workload in the screening process, we investigate the quality of document ranking of SR. This can signal researchers whereabouts in the ranking relevant studies are located and let them decide where to stop the screening. After extensive analysis on SR document rankings from different ranking models, we hypothesize 'topic broadness' as a factor that affects the ranking quality of SR. Finally, we propose a measure that estimates the topic broadness and demonstrate that the proposed measure is a simple yet effective method to predict the qualities of document rankings for SRs.
• Abstract（参考訳）: 体系的レビュー(SR)の実行は、複数のタスクで構成される。 (i)デジタル図書館(例えば、pubmed)から関連性の高いであろう文書(証書)を収集する。 (二 文書を関係又は無関係と手動で読み、表示すること。) (iii)関連研究から情報を抽出すること、及び (iv)情報を分析し合成し、SRの結論を導出する。 研究者が研究にラベルをつけると、関連する文書が無関係のものよりも高いランクの文書をスクリーニングすることができる。 このプラクティスは、スクリーニング優先順位付け(文書ランク付けアプローチ)と呼ばれ、関連する文書とラベル付けされたドキュメントがより早く次のタスクに移行するため、SRを実行するプロセスを高速化する。 しかし、画面へのドキュメントの合計数が同じであるため、手動作業の削減には制限がある。 スクリーニングプロセスにおける手作業量の削減に向けて,SRの文書ランキングの品質について検討する。 これは、ランキングに関連する研究の場所がどこにあるかを研究者に知らせ、スクリーニングをどこで止めるかを決めることができる。 異なるランキングモデルからSR文書のランキングを広範囲に分析した結果、SRのランキング品質に影響を与える要因として「トピックワイドネス」を仮定した。 最後に,話題の広さを推定する手法を提案し,提案手法がsrsの文書ランキングの質を予測するための単純かつ効果的な手法であることを実証する。

関連論文リスト

• Beyond Relevance: Evaluate and Improve Retrievers on Perspective Awareness [56.42192735214931]
  検索者は、ドキュメントとクエリ間のセマンティックな関連性に頼るだけでなく、ユーザクエリの背後にある微妙な意図や視点を認識することも期待されている。 本研究では,検索者がクエリの異なる視点を認識し,応答できるかどうかを検討する。 我々は,現在の検索者はクエリにおいて微妙に異なる視点に対する認識が限られており,特定の視点に偏りがあることを示す。
  論文  参考訳（メタデータ） (2024-05-04T17:10:00Z)
• Generating Natural Language Queries for More Effective Systematic Review Screening Prioritisation [53.77226503675752]
  現在の技術状況では、レビューの最終タイトルをクエリとして、BERTベースのニューラルランクラを使用してドキュメントのランク付けに使用しています。 本稿では,ChatGPT や Alpaca などの命令ベース大規模言語モデルによって生成される文書の検索に使用される Boolean クエリやクエリなど,スクリーニングを優先するクエリの代替源について検討する。 私たちのベストアプローチは、スクリーニング時に利用可能な情報に基づいて実現されるだけでなく、最終タイトルと同じような効果があります。
  論文  参考訳（メタデータ） (2023-09-11T05:12:14Z)
• Open Domain Multi-document Summarization: A Comprehensive Study of Model Brittleness under Retrieval [42.73076855699184]
  マルチドキュメント要約(MDS)は、一連のトピック関連の文書が入力として提供されると仮定する。 タスクを形式化し、既存のデータセット、レトリバー、要約器を使ってブートストラップすることで、より困難な設定について研究する。
  論文  参考訳（メタデータ） (2022-12-20T18:41:38Z)
• Neural Rankers for Effective Screening Prioritisation in Medical Systematic Review Literature Search [31.797257552928336]
  本稿では,事前学習した言語モデルを,体系的なレビュー文書ランキングタスクに適用する。 経験的分析は、このタスクの従来の方法と比較して、ニューラルネットワークがいかに効果的かを比較する。 以上の結果から,BERTをベースとしたランカは,現在のスクリーニング方法よりも優れていた。
  論文  参考訳（メタデータ） (2022-12-18T05:26:40Z)
• Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
  我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。 異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
  論文  参考訳（メタデータ） (2022-10-19T16:19:37Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• Augmenting Document Representations for Dense Retrieval with Interpolation and Perturbation [49.940525611640346]
  ドキュメント拡張(Document Augmentation for dense Retrieval)フレームワークは、ドキュメントの表現をDense Augmentationとperturbationsで強化する。 2つのベンチマークデータセットによる検索タスクにおけるDARの性能評価を行い、ラベル付き文書とラベルなし文書の密集検索において、提案したDARが関連するベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-03-15T09:07:38Z)
• Mirror Matching: Document Matching Approach in Seed-driven Document Ranking for Medical Systematic Reviews [31.3220495275256]
  文書ランキングとは、関係する文書が無関係のものよりも上位にある文書ランキングを提供することによって研究者を支援する手法である。 本稿では,医用要約テキスト間のマッチングスコアを共通記述パターンを組み込んで計算するミラーマッチング(Mirror Matching)という文書マッチング尺度を提案する。
  論文  参考訳（メタデータ） (2021-12-28T22:27:52Z)
• Automating Document Classification with Distant Supervision to Increase the Efficiency of Systematic Reviews [18.33687903724145]
  体系的なレビューは高価で、時間的需要があり、労働集約的です。 文書のレビュー作業を大幅に削減するための自動文書分類アプローチを提案します。
  論文  参考訳（メタデータ） (2020-12-09T22:45:40Z)
• Overview of the TREC 2019 Fair Ranking Track [65.15263872493799]
  TREC Fair Ranking トラックの目標は、異なるコンテンツプロバイダに対する公正性の観点から、検索システムを評価するベンチマークを開発することであった。 本稿では,タスク定義やデータ記述,アノテーションプロセスなどを含むトラックの概要について述べる。
  論文  参考訳（メタデータ） (2020-03-25T21:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。