論文の概要: Combining Counting Processes and Classification Improves a Stopping Rule
for Technology Assisted Review
- arxiv url: http://arxiv.org/abs/2312.03171v1
- Date: Tue, 5 Dec 2023 22:28:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 16:41:10.070143
- Title: Combining Counting Processes and Classification Improves a Stopping Rule
for Technology Assisted Review
- Title(参考訳): カウントプロセスと分類の組み合わせによる技術支援レビューの停止ルールの改善
- Authors: Reem Bin-Hezam and Mark Stevenson
- Abstract要約: 技術支援レビュー(TAR)の停止規則は、関連性のある文書を手作業で評価するコストを削減することを目的としている。
本稿では、追加のアノテーションを必要とせずにトレーニングできるテキスト分類器から得られる情報を用いて、効果的な停止ルールを拡張する。
- 参考スコア(独自算出の注目度): 11.028520416752325
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Technology Assisted Review (TAR) stopping rules aim to reduce the cost of
manually assessing documents for relevance by minimising the number of
documents that need to be examined to ensure a desired level of recall. This
paper extends an effective stopping rule using information derived from a text
classifier that can be trained without the need for any additional annotation.
Experiments on multiple data sets (CLEF e-Health, TREC Total Recall, TREC Legal
and RCV1) showed that the proposed approach consistently improves performance
and outperforms several alternative methods.
- Abstract(参考訳): technology assisted review (tar) stop rulesは、必要なリコールレベルを確保するために、検査すべき文書の数を最小にすることで、関連のある文書を手動で評価するコストを削減することを目的としている。
本稿では,追加のアノテーションを必要とせずに学習できるテキスト分類器の情報を用いて,効果的な停止ルールを拡張する。
複数データセット(CLEF e-Health, TREC Total Recall, TREC Legal, RCV1)の実験により, 提案手法は一貫して性能を向上し, いくつかの代替手法を上回る性能を示した。
関連論文リスト
- Gumbel Reranking: Differentiable End-to-End Reranker Optimization [61.16471123356738]
RAGシステムは関連する文書を識別するためにリランカーに依存している。
注釈付きクエリ-ドキュメントペアが不足しているため、これらのモデルの微調整は依然として難しい。
我々は,トレーニングと推論のギャップを最小限に抑えることを目的とした,リランカーのためのエンドツーエンドのトレーニングフレームワークであるGumbel Re rankを提案する。
論文 参考訳(メタデータ) (2025-02-16T13:23:39Z) - Enhanced Retrieval of Long Documents: Leveraging Fine-Grained Block Representations with Large Language Models [24.02950598944251]
文書の関連性評価の精度を高めることを目的とした,新しい,きめ細かいアプローチを提案する。
提案手法はまず,長い文書をブロックに分割し,それぞれを LLM を用いて埋め込む。
重み付け和法により,クエリブロック関連度スコアを集約し,ドキュメント全体のクエリに対する総合的なスコアを得る。
論文 参考訳(メタデータ) (2025-01-28T16:03:52Z) - Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
RAGは大規模言語モデル(LLM)を強化するために広く採用されている。
分散テキスト生成(ATG)が注目され、RAGにおけるモデルの応答をサポートするための引用を提供する。
本稿では,ReClaim(Refer & Claim)と呼ばれる詳細なATG手法を提案する。
論文 参考訳(メタデータ) (2024-07-01T20:47:47Z) - RLStop: A Reinforcement Learning Stopping Method for TAR [9.335384756718867]
本稿では、強化学習に基づく新しい技術支援レビュー(TAR)の停止ルールであるLStopを紹介する。
RLStopは、文書の検査を停止する最適な点を特定するために報酬関数を使用して、サンプルランキングに基づいて訓練される。
論文 参考訳(メタデータ) (2024-05-03T23:48:53Z) - Relevance feedback strategies for recall-oriented neural information
retrieval [0.0]
本研究は、レビューの労力を削減するための、よりリコール指向のアプローチを提案する。
具体的には、ユーザのフィードバックに基づいて、関連性ランキングを反復的にランク付けする。
その結果,本手法はベースラインアプローチに比べて17.85%から59.04%のレビュー工数を削減できることがわかった。
論文 参考訳(メタデータ) (2023-11-25T19:50:41Z) - Active Learning for Abstractive Text Summarization [50.79416783266641]
本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。
ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
論文 参考訳(メタデータ) (2023-01-09T10:33:14Z) - Socratic Pretraining: Question-Driven Pretraining for Controllable
Summarization [89.04537372465612]
ソクラティック事前訓練は、要約タスクにおける制御性を改善するために設計された、質問駆動で教師なし事前訓練の目的である。
以上の結果から,Socraticプレトレーニングはタスク固有のラベル付きデータ要件を半分に削減することがわかった。
論文 参考訳(メタデータ) (2022-12-20T17:27:10Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳(メタデータ) (2022-04-12T03:49:35Z) - Value Retrieval with Arbitrary Queries for Form-like Documents [50.5532781148902]
フォーム状文書に対する任意のクエリを用いた値検索を提案する。
本手法は,フォームのレイアウトやセマンティクスの理解に基づいて,任意のクエリのターゲット値を予測する。
本稿では,大規模モデル事前学習における文書理解を改善するためのシンプルな文書言語モデリング (simpleDLM) 戦略を提案する。
論文 参考訳(メタデータ) (2021-12-15T01:12:02Z) - Heuristic Stopping Rules For Technology-Assisted Review [7.513733974830772]
技術支援レビュー (Technology-Assisted Review, TAR) とは、大規模なコレクションに関連文書を見つけるためのループ内アクティブラーニングである。
本研究では,調査研究から得られたモデルに基づく推定手法に基づいて,QuantCIとQuantCIの2つの新しい停止規則を提案する。
論文 参考訳(メタデータ) (2021-06-18T02:14:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。