論文の概要: Heuristic Stopping Rules For Technology-Assisted Review

• arxiv url: http://arxiv.org/abs/2106.09871v1
• Date: Fri, 18 Jun 2021 02:14:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 01:12:55.233096
• Title: Heuristic Stopping Rules For Technology-Assisted Review
• Title（参考訳）: 技術支援レビューのためのヒューリスティック停止ルール
• Authors: Eugene Yang and David D. Lewis and Ophir Frieder
• Abstract要約: 技術支援レビュー (Technology-Assisted Review, TAR) とは、大規模なコレクションに関連文書を見つけるためのループ内アクティブラーニングである。 本研究では,調査研究から得られたモデルに基づく推定手法に基づいて,QuantCIとQuantCIの2つの新しい停止規則を提案する。
• 参考スコア（独自算出の注目度）: 7.513733974830772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Technology-assisted review (TAR) refers to human-in-the-loop active learning workflows for finding relevant documents in large collections. These workflows often must meet a target for the proportion of relevant documents found (i.e. recall) while also holding down costs. A variety of heuristic stopping rules have been suggested for striking this tradeoff in particular settings, but none have been tested against a range of recall targets and tasks. We propose two new heuristic stopping rules, Quant and QuantCI based on model-based estimation techniques from survey research. We compare them against a range of proposed heuristics and find they are accurate at hitting a range of recall targets while substantially reducing review costs.
• Abstract（参考訳）: technology-assisted review(tar)は、大規模なコレクションで関連するドキュメントを見つけるための、ループ内アクティブラーニングワークフローである。 これらのワークフローは、しばしば見つかった関連するドキュメントの割合(例えば)のターゲットを満たさなければならない。 コストを抑えると同時に、コストを下げる。 様々なヒューリスティックな停止規則が、特定の設定でこのトレードオフを打つために提案されているが、様々なリコールターゲットやタスクに対してテストされていない。 本研究では,調査研究から得られたモデルに基づく推定手法に基づいて,新しいヒューリスティックな停止規則であるQuantCIとQuantCIを提案する。 提案するヒューリスティックとの比較を行い,リコール目標の精度を検証し,レビューコストを大幅に削減した。

関連論文リスト

• JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
  本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。 我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。 さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
  論文  参考訳（メタデータ） (2024-10-31T18:43:12Z)
• Dense Retrieval with Continuous Explicit Feedback for Systematic Review Screening Prioritisation [28.80089773616623]
  体系的なレビューにおいて優先順位付けをスクリーニングする目的は、関連文書を高いリコールで識別し、レビューの早い段階でランク付けすることである。 近年の研究では、ニューラルモデルがこのタスクに有意なポテンシャルがあることが示されているが、それらの時間を要する微調整と推論は、優先順位付けのスクリーニングに広く使用されることを妨げている。 ニューラルモデルに引き続き依存する代替アプローチを提案するが、高密度表現と関連フィードバックを活用してスクリーニングの優先順位付けを強化する。
  論文  参考訳（メタデータ） (2024-06-30T09:25:42Z)
• RLStop: A Reinforcement Learning Stopping Method for TAR [9.335384756718867]
  本稿では、強化学習に基づく新しい技術支援レビュー(TAR)の停止ルールであるLStopを紹介する。 RLStopは、文書の検査を停止する最適な点を特定するために報酬関数を使用して、サンプルランキングに基づいて訓練される。
  論文  参考訳（メタデータ） (2024-05-03T23:48:53Z)
• Combining Counting Processes and Classification Improves a Stopping Rule for Technology Assisted Review [11.028520416752325]
  技術支援レビュー(TAR)の停止規則は、関連性のある文書を手作業で評価するコストを削減することを目的としている。 本稿では、追加のアノテーションを必要とせずにトレーニングできるテキスト分類器から得られる情報を用いて、効果的な停止ルールを拡張する。
  論文  参考訳（メタデータ） (2023-12-05T22:28:42Z)
• Optimizing Data Collection for Machine Learning [87.37252958806856]
  現代のディープラーニングシステムは、素晴らしいパフォーマンスを達成するために巨大なデータセットを必要とします。 過度に収集したデータは不要な現在のコストを発生させる一方、過度に収集したデータは将来のコストと遅延を引き起こす可能性がある。 本稿では,データ収集を形式的最適データ収集問題としてモデル化するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-10-03T21:19:05Z)
• ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
  本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。 まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。 最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
  論文  参考訳（メタデータ） (2022-07-14T17:46:37Z)
• A Dataset on Malicious Paper Bidding in Peer Review [84.68308372858755]
  悪意あるレビュアーは、紙の割り当てを非倫理的に操作するために戦略的に入札した。 この問題を緩和するための方法の作成と評価への重要な障害は、悪意ある紙入札に関する公開データの欠如である。 我々は、参加者に正直に、悪意的に入札するよう指示されたモックカンファレンス活動から収集された、新しいデータセットをリリースする。
  論文  参考訳（メタデータ） (2022-06-24T20:23:33Z)
• Certifying One-Phase Technology-Assisted Reviews [7.513733974830772]
  反復的アクティブラーニングに基づく技術支援レビュー(TAR)は、文書レビューアプリケーションで広く利用されている。 1相TARのほとんどの停止規則は有効な統計的保証を欠いているため、いくつかの法的文脈での使用を妨げている。
  論文  参考訳（メタデータ） (2021-08-29T04:14:49Z)
• Mining Implicit Relevance Feedback from User Behavior for Web Question Answering [92.45607094299181]
  本研究は,ユーザ行動と通過関連性との関連性を検討するための最初の研究である。 提案手法は,追加のラベル付きデータを使わずにパスランキングの精度を大幅に向上させる。 実際にこの研究は、グローバルな商用検索エンジンにおけるQAサービスの人為的ラベリングコストを大幅に削減する効果が証明されている。
  論文  参考訳（メタデータ） (2020-06-13T07:02:08Z)
• Incremental Few-Shot Object Detection [96.02543873402813]
  OpeN-ended Centre nEtは、いくつかの例でクラスオブジェクトの検出を漸進的に学習する検出器である。 ONCEはインクリメンタルな学習パラダイムを十分に尊重しており、新しいクラス登録では、数発のトレーニングサンプルを1回だけフォワードパスするだけでよい。
  論文  参考訳（メタデータ） (2020-03-10T12:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。