論文の概要: The Delayed Countdown Method for Validating Review-Oriented AI Workflows in eDiscovery
- arxiv url: http://arxiv.org/abs/2610.31311v2
- Date: Fri, 23 Oct 2026 23:21:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.204047
- Title: The Delayed Countdown Method for Validating Review-Oriented AI Workflows in eDiscovery
- Title（参考訳）: eDiscoveryにおけるレビュー指向AIワークフローの検証のための遅延カウントダウン手法
- Abstract要約: レビュー指向は、電子発見におけるAI支援文書レビューの主要なアプローチとなった(eDiscovery)
レビュー指向の有効性の検証方法は、法律における技術支援レビュー(TAR)において、紛らわしい議論の的となっている。
我々の遅延カウントダウン法は,既存のレビュー指向およびソフトウェアに容易に組み込むことができる。
- 参考スコア（独自算出の注目度）: 10.24019805905633
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Review-oriented workflows have become the dominant approach to AI-assisted document review in electronic discovery (eDiscovery). How to validate the effectiveness of review-oriented workflows has, however, remained a confusing and controversial topic in technology-assisted review (TAR) in the law. We examine the sources of this controversy, and propose a simple and practical evaluation approach for review-oriented workflows. Our Delayed Countdown method is easily incorporated into existing review-oriented workflows and software, is compatible with arbitrary stopping rules, and produces valid frequentist confidence intervals on effectiveness. We explain the conceptual foundations of the method, provide example computations, discuss the handling of logically impossible recall values, and suggest future work on decreasing review costs. (This paper was submitted October 1, 2026 to The Tenth Annual Workshop on Applications of Artificial Intelligence in the Legal Industry.)
- Abstract（参考訳）: レビュー指向ワークフローは、電子発見(eDiscovery)におけるAI支援ドキュメントレビューの主要なアプローチとなっている。
しかし、レビュー指向のワークフローの有効性を検証する方法は、法律における技術支援レビュー(TAR)において、紛らわしい議論の的となっている。
本稿では,この論争の原因を考察し,レビュー指向のワークフローに対するシンプルで実践的な評価手法を提案する。
我々の遅延カウントダウン法は、既存のレビュー指向のワークフローやソフトウェアに容易に組み込まれ、任意の停止規則と互換性があり、有効性に対して有効な頻繁な信頼区間を生成する。
提案手法の概念的基礎を説明し,実例計算を提供し,論理的に不可能なリコール値の扱いについて議論し,レビューコストの削減に向けた今後の取り組みを提案する。
(2026年10月1日、法律業界における人工知能の応用に関する第10回年次ワークショップに提出)。
関連論文リスト
- BERT-as-a-Judge: A Robust Alternative to Lexical Methods for Efficient Reference-Based LLM Evaluation [11.37493959290663]
本稿では,参照型生成環境における回答の正当性を評価するためのエンコーダ駆動方式であるBERT-as-a-Judgeを紹介する。
より大規模なLLM審査員のパフォーマンスに適合しながら,語彙ベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-04-10T17:08:40Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - A Procedural Framework for Assessing the Desirability of Process Deviations [0.0]
本稿では,プロセスアナリストによる逸脱の回避性を体系的に評価する手続き的枠組みを提案する。
偏差を互いに排他的な望ましさのカテゴリに分類する方法について、どの入力要因を考慮すべきかを特定するためのステップバイステップのアプローチを提供する。
論文 参考訳（メタデータ） (2025-06-13T07:24:57Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z) - Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。
完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
論文 参考訳（メタデータ） (2024-04-07T22:31:34Z) - Certifying One-Phase Technology-Assisted Reviews [7.513733974830772]
反復的アクティブラーニングに基づく技術支援レビュー(TAR)は、文書レビューアプリケーションで広く利用されている。
1相TARのほとんどの停止規則は有効な統計的保証を欠いているため、いくつかの法的文脈での使用を妨げている。
論文 参考訳（メタデータ） (2021-08-29T04:14:49Z) - Time-varying Gaussian Process Bandit Optimization with Non-constant
Evaluation Time [93.6788993843846]
非定常評価時間を効果的に処理できる新しい時間変化ベイズ最適化アルゴリズムを提案する。
我々の限界は、評価時間列のパターンが問題の難易度に大きな影響を与えることを決定づける。
論文 参考訳（メタデータ） (2020-03-10T13:28:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。