論文の概要: Certifying One-Phase Technology-Assisted Reviews
- arxiv url: http://arxiv.org/abs/2108.12746v1
- Date: Sun, 29 Aug 2021 04:14:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-01 05:21:45.625403
- Title: Certifying One-Phase Technology-Assisted Reviews
- Title(参考訳): 一相認証技術支援レビュー
- Authors: David D. Lewis and Eugene Yang and Ophir Frieder
- Abstract要約: 反復的アクティブラーニングに基づく技術支援レビュー(TAR)は、文書レビューアプリケーションで広く利用されている。
1相TARのほとんどの停止規則は有効な統計的保証を欠いているため、いくつかの法的文脈での使用を妨げている。
- 参考スコア(独自算出の注目度): 7.513733974830772
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Technology-assisted review (TAR) workflows based on iterative active learning
are widely used in document review applications. Most stopping rules for
one-phase TAR workflows lack valid statistical guarantees, which has
discouraged their use in some legal contexts. Drawing on the theory of quantile
estimation, we provide the first broadly applicable and statistically valid
sample-based stopping rules for one-phase TAR. We further show theoretically
and empirically that overshooting a recall target, which has been treated as
innocuous or desirable in past evaluations of stopping rules, is a major source
of excess cost in one-phase TAR workflows. Counterintuitively, incurring a
larger sampling cost to reduce excess recall leads to lower total cost in
almost all scenarios.
- Abstract(参考訳): 反復型アクティブラーニングに基づく技術支援レビュー(tar)ワークフローは、ドキュメントレビューアプリケーションで広く使われている。
単相タールワークフローの停止規則のほとんどは、正当な統計保証を欠いているため、いくつかの法的文脈での使用を妨げている。
分位推定理論を基礎として,一相タールのサンプルベース停止規則を初めて広く適用し,統計的に有効なものにする。
さらに,単相タールワークフローにおいて,過去の停止規則の評価において無害あるいは望ましいものとして扱われてきたリコール対象のオーバーシューティングが,過大なコスト源であることを示す。
反対に、過剰なリコールを減らすためにサンプリングコストが大きくなると、ほとんどすべてのシナリオで総コストが低下する。
関連論文リスト
- An Early FIRST Reproduction and Improvements to Single-Token Decoding for Fast Listwise Reranking [50.81324768683995]
FIRSTは、学習からランクへの目的を統合し、最初の生成されたトークンのみのロジットを活用する新しいアプローチである。
我々は、FIRSTの評価をTRECディープラーニングデータセット(DL19-22)に拡張し、様々な領域でその堅牢性を検証する。
我々の実験は、単一トークンの高速リランクは、ドメイン外リランクの品質を損なうものではないことを確認した。
論文 参考訳(メタデータ) (2024-11-08T12:08:17Z) - An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。
アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。
本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
論文 参考訳(メタデータ) (2024-01-12T16:56:54Z) - A Connection between One-Step Regularization and Critic Regularization
in Reinforcement Learning [163.44116192806922]
1ステップの手法は、政策改善の1ステップだけを実行することで正規化を行う。
批判的正規化手法は 政策改善の多くのステップを 正規化の目的で行います
多段階批判正規化法を1イテレーションの正規化係数で適用すると、1ステップRLと同じポリシーが得られる。
論文 参考訳(メタデータ) (2023-07-24T17:46:32Z) - Efficient Deep Reinforcement Learning Requires Regulating Overfitting [91.88004732618381]
本稿では,高時間差(TD)誤差が深部RLアルゴリズムの性能に悪影響を及ぼす主要な原因であることを示す。
検証TDエラーをターゲットとした簡単なオンラインモデル選択法は,状態ベースDMCおよびGymタスク間で有効であることを示す。
論文 参考訳(メタデータ) (2023-04-20T17:11:05Z) - Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。
実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
論文 参考訳(メタデータ) (2023-03-11T11:42:26Z) - Trajectory-Aware Eligibility Traces for Off-Policy Reinforcement
Learning [44.50394347326546]
多段階リターンからのオフ政治学習は、サンプル効率の強化学習に不可欠である。
オフ政治バイアスは、決定ごとに修正されるが、トレースが完全にカットされると、その効果は逆転できない。
本稿では,多段階演算子を提案する。
論文 参考訳(メタデータ) (2023-01-26T18:57:41Z) - MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。
本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。
この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
論文 参考訳(メタデータ) (2022-09-26T12:04:49Z) - Improving the Efficiency of Off-Policy Reinforcement Learning by
Accounting for Past Decisions [20.531576904743282]
オフ政治推定バイアスは、決定ごとに補正される。
Tree BackupやRetraceといったオフポリティクスアルゴリズムはこのメカニズムに依存している。
任意の過去のトレースを許可するマルチステップ演算子を提案する。
論文 参考訳(メタデータ) (2021-12-23T00:07:28Z) - Heuristic Stopping Rules For Technology-Assisted Review [7.513733974830772]
技術支援レビュー (Technology-Assisted Review, TAR) とは、大規模なコレクションに関連文書を見つけるためのループ内アクティブラーニングである。
本研究では,調査研究から得られたモデルに基づく推定手法に基づいて,QuantCIとQuantCIの2つの新しい停止規則を提案する。
論文 参考訳(メタデータ) (2021-06-18T02:14:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。