論文の概要: AI Assistance for Human Review of Default Judgments
- arxiv url: http://arxiv.org/abs/2607.01256v1
- Date: Thu, 04 Jun 2026 20:01:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-05 17:01:29.639247
- Title: AI Assistance for Human Review of Default Judgments
- Title(参考訳): デフォルト判断の人間レビューのためのAI支援
- Abstract要約: 合衆国の裁判所は、毎年数百万のデフォルトの判決を審査している。
裁判所をデフォルトの判断審査で支援するため、裁判所弁護士や判事と協力し、デフォルトアシスタントを設計しました。
我々の研究は、引用を伴うAIアシスタントが、リソース制約のある裁判所がデフォルトの判断レビューをより正確に効率的に行うのに役立つ可能性を実証する概念実証を提供する。
- 参考スコア(独自算出の注目度): 40.16596058582666
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Overwhelmed courts in the United States review millions of default judgments each year. Unfortunately, such manual reviews are time-consuming and prone to error. In an audit of 188 debt collection cases granted default judgment by the Superior Court of Los Angeles, we find that 4% contained major defects that should have entirely prevented default judgment, 10% contained inconsistencies requiring reduced judgments, and 32% contained errors requiring amendment prior to judgment. To support courthouses in default judgment review, we collaborated with courthouse attorneys and judges in designing a Default Assistant. The Default Assistant employs large language models to evaluate a case with respect to predetermined legal requirements and provide cited recommendations for an expert user's review. We equip users to verify these recommendations by grounding the assistant's explanations in cited quotes and tables from the original case filings. We conduct a controlled study with 66 law students that conservatively simulates court review, with more time and resources than court staff. We nevertheless find users aided by the Default Assistant were 6.0% more accurate on the average requirement than unaided reviewers (p < 1.0e-4). Simultaneously, users were 25.9% faster in reviewing the average requirement than unaided reviewers (p < 2.5e-10). Statutory requirements demanding extensive document search realized the largest gains, with error reductions and time savings from AI assistance up to 62% and 34%, respectively, relative to unassisted user performance and with differences statistically significant (p < 0.05). Our work provides a proof-of-concept that AI assistants with citations have the potential to help resource-constrained courts conduct default judgment review more accurately and efficiently.
- Abstract(参考訳): 合衆国の裁判所は、毎年数百万のデフォルトの判決を審査している。
残念ながら、このような手作業によるレビューは時間がかかり、エラーを起こしやすい。
ロサンゼルス高等裁判所がデフォルト判決を付与した188件の債務回収事件の監査において、4%は、デフォルト判決を完全に阻止すべき重大な欠陥、10%は、判断を減らさなければならない不整合、そして32%は、判断に先立って修正を必要とする誤りを含むことがわかった。
裁判所をデフォルトの判断審査で支援するため、裁判所弁護士や判事と協力し、デフォルトアシスタントを設計しました。
デフォルトアシスタントは、所定の法的要件に関してケースを評価し、専門家のレビューのために引用されたレコメンデーションを提供するために、大きな言語モデルを使用する。
我々は,これらのレコメンデーションをユーザに対して,引用された引用文や表にアシスタントの説明を根拠にして検証する。
我々は、裁判所の審査を保守的にシミュレートする66人の法学生を対象に、裁判所職員よりも多くの時間と資源で、統制された研究を行う。
それでも、デフォルトアシスタントによって支援されたユーザは、未確認のレビュアー(p < 1.0e-4)よりも平均的な要求で6.0%正確であることがわかった。
同時に、ユーザーは未確認のレビュアー(p < 2.5e-10)よりも平均要件をレビューするのが25.9%速くなった。
広範囲な文書検索を必要とする法定要件は、AIアシストによるエラー削減と時間節約をそれぞれ62%と34%と、未支援のユーザパフォーマンスと統計的に有意な差(p < 0.05)で実現した(p < 0.05)。
我々の研究は、引用を伴うAIアシスタントが、リソース制約のある裁判所がデフォルトの判断レビューをより正確に効率的に行うのに役立つ可能性を実証する概念実証を提供する。
関連論文リスト
- How AI Models Manage Epistemic Authority: A Taxonomy and Comparative Analysis of Responses to User Disagreement [0.573978744524696]
ユーザが回答に挑戦すると、モデルがどのように権威を管理し、ここでは知識、能力、あるいは助言する権利を主張する。
我々は,14モデルから2,310個の制御された課題シナリオと32,340個の応答のデータセットを構築した。
反応の85%でユーザを検証するが、元のクレームは65%で維持する。
論文 参考訳(メタデータ) (2026-09-07T15:47:29Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳(メタデータ) (2026-04-21T14:21:15Z) - Toward Robust LLM-Based Judges: Taxonomic Bias Evaluation and Debiasing Optimization [44.252712888022835]
大規模言語モデル(LLM)に基づく審査員は、自動評価と報酬モデリングに広く採用されている。
LLMに基づく審査員のバイアスを系統的に定量化するためのベンチマークであるJiceBiasBenchを提案する。
我々は、生成的および差別的な裁判官の両方にまたがって実験を行い、現在の裁判官が有意かつ多様なバイアスパターンを示すことを明らかにした。
論文 参考訳(メタデータ) (2026-03-09T08:32:21Z) - SPECA: Specification-to-Checklist Agentic Auditing for Multi-Implementation Systems -- A Case Study on Ethereum Clients [1.711666249985278]
SPECAは、標準要件をチェックリストに変換する仕様からChecklistフレームワークである。
SPECAは,11社を対象とし,フサカアップグレードのセキュリティ監査コンテストの会場内でインスタンス化を行う。
我々の改善されたエージェントは、競争監査の基礎的真実に対して評価され、高影響の脆弱性について27.3%の厳格なリコールを達成した。
論文 参考訳(メタデータ) (2026-02-07T12:19:00Z) - Benchmarking Legal RAG: The Promise and Limits of AI Statutory Surveys [4.991125406994611]
以上の結果から,STARAの精度は83%向上した。
商業プラットフォームは58%(Westlaw AI)と64%(Lexis+AI)の精度で不利であることを示す。
多くの明らかな誤りは、法律的概念の混同や法的な例外の誤解釈など、実際にDOL弁護士自身による重大な欠落である。
論文 参考訳(メタデータ) (2026-02-07T06:28:55Z) - AppealCase: A Dataset and Benchmark for Civil Case Appeal Scenarios [47.83822985839837]
本稿では,91件の民事事件の1万対の実世界と一致した第1インスタンスと第2インスタンスの文書からなるFiceCaseデータセットを提案する。
このデータセットには、判断の逆転、逆転理由、引用された法的規定、クレームレベルの決定、第2のインスタンスに新たな情報があるかどうかという5つの側面に沿った詳細なアノテーションも含まれている。
実験結果から, すべてのモデルが判定逆転予測タスクにおいて50%未満のF1スコアを達成し, 魅力シナリオの複雑さと課題を浮き彫りにしていることがわかった。
論文 参考訳(メタデータ) (2025-05-22T10:50:33Z) - J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。
我々はReasoningJudgeBenchというベンチマークを紹介します。
EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
論文 参考訳(メタデータ) (2025-05-19T16:50:35Z) - Support Evaluation for the TREC 2024 RAG Track: Comparing Human versus LLM Judges [53.12387628636912]
RAG評価において重要な要素は、引用された文書の情報が回答をサポートするかどうかである。
TREC 2024 RAG Trackの36項目について,45件の参加者を大規模に比較検討した。
以上の結果から,手動によるオフスクラッチ評価の56%では,ヒトとGPT-4oの予測が完全に一致していることが示唆された。
論文 参考訳(メタデータ) (2025-04-21T16:20:43Z) - JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。
我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。
さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
論文 参考訳(メタデータ) (2024-10-31T18:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。