論文の概要: Better Bill GPT: Comparing Large Language Models against Legal Invoice Reviewers

• arxiv url: http://arxiv.org/abs/2504.02881v1
• Date: Wed, 02 Apr 2025 05:07:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:48:41.247076
• Title: Better Bill GPT: Comparing Large Language Models against Legal Invoice Reviewers
• Title（参考訳）: Better Bill GPT: 大規模言語モデルと法的請求書レビュアーの比較
• Authors: Nick Whitehouse, Nicole Lincoln, Stephanie Yiu, Lizzie Catterson, Rivindu Perera,
• Abstract要約: 本研究では,Large Language Models (LLMs) と人間の請求書レビュアーとの実証的な比較を行った。 LLMは92%の精度を達成し、経験豊富な弁護士が設定した72%の天井を超えている。 弁護士は請求書1件につき194秒から316秒を要し、LLMはレビューを3.6秒で完了する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Legal invoice review is a costly, inconsistent, and time-consuming process, traditionally performed by Legal Operations, Lawyers or Billing Specialists who scrutinise billing compliance line by line. This study presents the first empirical comparison of Large Language Models (LLMs) against human invoice reviewers - Early-Career Lawyers, Experienced Lawyers, and Legal Operations Professionals-assessing their accuracy, speed, and cost-effectiveness. Benchmarking state-of-the-art LLMs against a ground truth set by expert legal professionals, our empirically substantiated findings reveal that LLMs decisively outperform humans across every metric. In invoice approval decisions, LLMs achieve up to 92% accuracy, surpassing the 72% ceiling set by experienced lawyers. On a granular level, LLMs dominate line-item classification, with top models reaching F-scores of 81%, compared to just 43% for the best-performing human group. Speed comparisons are even more striking - while lawyers take 194 to 316 seconds per invoice, LLMs are capable of completing reviews in as fast as 3.6 seconds. And cost? AI slashes review expenses by 99.97%, reducing invoice processing costs from an average of $4.27 per invoice for human invoice reviewers to mere cents. These results highlight the evolving role of AI in legal spend management. As law firms and corporate legal departments struggle with inefficiencies, this study signals a seismic shift: The era of LLM-powered legal spend management is not on the horizon, it has arrived. The challenge ahead is not whether AI can perform as well as human reviewers, but how legal teams will strategically incorporate it, balancing automation with human discretion.
• Abstract（参考訳）: 法的な請求書審査は費用がかかり、一貫性がなく、時間を要するプロセスであり、伝統的に法務、弁護士、請求書の遵守を精査する請求専門家によって行われる。 本研究は,人間の請求書レビュアーに対するLarge Language Models (LLMs) の最初の経験的比較を行ったものである。 専門家による基礎的な真実に対して最先端のLLMをベンチマークした結果、LLMはあらゆる指標で人間よりも圧倒的に優れていることが実証的に実証された。 請求書承認決定では、LLMは92%の精度を達成し、経験豊富な弁護士が設定した72%の天井を超えている。 グラニュラルレベルでは、LLMがラインイテムの分類を支配しており、トップモデルはFスコアが81%に達している。 弁護士は請求書1件につき194秒から316秒を要し、LLMはレビューを3.6秒で完了する。 コストは? AIはレビュー費用を99.97%削減し、請求書処理コストを、人間の請求書レビュアーに対して平均4.27ドルからわずかセントに削減する。 これらの結果は、法的な支出管理におけるAIの役割の進化を浮き彫りにしている。 法律事務所や企業法務部門が非効率に苦しむ中、この研究は地震的な変化を示唆している。 今後の課題は、AIが人間のレビュアーと同等に機能するかどうかではなく、法的チームがそれを戦略的に組み入れ、自動化と人間の判断のバランスをとる方法だ。

関連論文リスト

• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
  InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。 われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。 InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2024-06-21T06:19:03Z)
• Auto-Arena: Automating LLM Evaluations with Agent Peer Battles and Committee Discussions [77.66677127535222]
  Auto-ArenaはLLMエージェントを使用した評価プロセス全体を自動化した革新的なフレームワークである。 我々の実験では、Auto-Arenaは92.14%の相関関係を示し、以前の専門家が注釈付けしたベンチマークをすべて上回っている。
  論文  参考訳（メタデータ） (2024-05-30T17:19:19Z)
• A View of How Language Models Will Transform Law [0.0]
  生産性と補助コストの大幅な増加は、法律事務所や法人法務部門が大規模言語モデルを社内で開発することを奨励する可能性がある。 弁護士の生産性が10%向上すれば、平均規模の「ビッグ・ロー」企業が300人から400人の弁護士を雇うことになる。
  論文  参考訳（メタデータ） (2024-05-13T15:10:00Z)
• Better Call GPT, Comparing Large Language Models Against Lawyers [0.0]
  本稿では,契約審査において,大規模言語モデルが人間の精度,速度,コスト効率を上回りうるかどうかを論じる。 スピードでは、LSMは人間に必要な時間を取り除き、ほんの数秒でレビューを完了します。 コスト面では、LSMは価格のごく一部で運用されており、従来の方法よりも99.97パーセントのコスト削減を実現している。
  論文  参考訳（メタデータ） (2024-01-24T03:53:28Z)
• BLT: Can Large Language Models Handle Basic Legal Text? [44.89873147675516]
  GPT-4とClaudeは、基本的な法的テキスト処理では性能が良くない。 ベンチマークの粗悪なパフォーマンスは、法的慣行の信頼性を疑うものだ。 トレーニングセットの微調整は、小さなモデルでもほぼ完璧なパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2023-11-16T09:09:22Z)
• A Comprehensive Evaluation of Large Language Models on Legal Judgment Prediction [60.70089334782383]
  大規模言語モデル(LLM)は、ドメイン固有のアプリケーションに大きな可能性を示している。 GPT-4の法律評価をめぐる近年の論争は、現実の法的タスクにおけるパフォーマンスに関する疑問を提起している。 我々は,LLMに基づく実践的ベースラインソリューションを設計し,法的判断予測の課題を検証した。
  論文  参考訳（メタデータ） (2023-10-18T07:38:04Z)
• Large Language Models as Tax Attorneys: A Case Study in Legal Capabilities Emergence [5.07013500385659]
  本稿では,税法の適用におけるLarge Language Models(LLM)の機能について考察する。 実験では,その後のOpenAIモデルリリースにおけるパフォーマンスの向上とともに,新たな法的理解能力を実証した。 発見は、特に拡張の促進と正しい法的文書と組み合わせることで、高いレベルの精度で実行可能であるが、専門家の税務弁護士レベルではまだ実行できないことを示している。
  論文  参考訳（メタデータ） (2023-06-12T12:40:48Z)
• Legal Prompt Engineering for Multilingual Legal Judgement Prediction [2.539568419434224]
  Legal Prompt Engineering (LPE) または Legal Prompting は、大規模言語モデル (LLM) を指導し、支援するプロセスである。 欧州人権裁判所(英語)及びスイス連邦最高裁判所(ドイツ語・フランス語・イタリア語)の事例文におけるゼロショットLPEの性能について検討する。
  論文  参考訳（メタデータ） (2022-12-05T12:17:02Z)
• Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
  我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。 判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
  論文  参考訳（メタデータ） (2021-05-09T09:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。