論文の概要: Legal Research Bench: Measuring End-to-End Reliability in Long-Horizon Legal Research Agents
- arxiv url: http://arxiv.org/abs/2610.00609v1
- Date: Wed, 30 Sep 2026 19:13:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.727493
- Title: Legal Research Bench: Measuring End-to-End Reliability in Long-Horizon Legal Research Agents
- Title（参考訳）: 法定研究ベンチ:長期法定研究エージェントのエンドツーエンド信頼性の測定
- Abstract要約: textbfLegal Research Bench (LRB) は、専門家によって書かれた413の米国法研究質問のベンチマークである。
ウェブ検索,ケースロー検索,ページ解析,検索ツールを用いた13のフロンティアモデルの評価を行った。
ソース検証による全パスグレーディングを通じてエージェント応答をスコアし、要求された基準が満たされ、引用された当局が検証した場合にのみ応答が正される。
- 参考スコア（独自算出の注目度）: 0.05384415989912719
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Legal research is a core and time-consuming legal workflow. Lawyers must identify controlling authority, verify that it remains valid, reconcile statutes and cases, and synthesize a grounded answer. Language model agents are a natural fit for this retrieval-intensive workflow, and automating even part of it would be valuable. But that value depends on reliability: a single missing authority, stale citation, or wrong legal conclusion can make an otherwise plausible answer unusable. We introduce \textbf{Legal Research Bench} (LRB), a benchmark of 413 open-ended U.S. legal research questions written by experts, each paired with a gold answer, supporting authorities, and a binary grading rubric. We evaluate thirteen frontier models in a harness with web search, case-law search, page parsing, and retrieval tools. We score agent responses through all-pass grading with source verification, where a response is correct only if every required criterion is satisfied and its cited authorities verify. We also validate the LLM judge against expert attorneys ensuring that benchmark scores track attorney judgment. Agents remain far from reliable: among the models we tested, the strongest, Claude Opus 4.8, is fully correct on 42.9\% of questions. Performance also varies substantially by task setting: all-pass rates differ across areas of law and are lower on questions requiring reconciliation of conflicting authorities. Across models, more turns, tool calls, and inference cost do not predict higher accuracy.
- Abstract（参考訳）: 法律研究は、中核的で時間を要する法的ワークフローである。
弁護士は、支配権限を特定し、それが有効であることを確認し、法令と事件を調整し、根拠のある回答を合成しなければならない。
言語モデルエージェントは、この検索集約的なワークフローに自然に適合し、その一部を自動化することは価値があるでしょう。
しかし、その価値は信頼性に依存します – 唯一の欠落した権威、古い引用、あるいは間違った法的結論は、他の方法では使用不可能な答えを生み出します。
我々は、専門家が書いた413の米国法研究質問のベンチマークである「textbf{Legal Research Bench} (LRB)」を紹介する。
ウェブ検索,ケースロー検索,ページ解析,検索ツールを用いた13のフロンティアモデルの評価を行った。
ソース検証による全パスグレーディングを通じてエージェント応答をスコアし、要求された基準が満たされ、引用された当局が検証した場合にのみ応答が正される。
また、専門家弁護士に対するLCMの判断も検証し、ベンチマークスコアが弁護士の判断を追跡することを保証します。
テストしたモデルの中で最強のクロード・オプス4.8は42.9%の質問に対して完全に正しい。
あらゆるパスレートは法律の分野によって異なり、対立する当局の和解を求める質問では低い。
モデル全体、より多くのターン、ツールコール、推論コストは、より高い精度を予測できない。
関連論文リスト
- LawCompass: Navigating from Legal QA to Multi-Agent Deep Research with Grounded Evidence [19.812656526764837]
法律は、法的QA、専門的検索、深層研究の3つのタスク指向機能を提供している。
法は全てのモジュールに対して明示的な引用リンクを維持しており、ユーザーは元の法的ソースに対してシステムアウトプットを直接検証することができる。
論文 参考訳（メタデータ） (2026-10-01T04:16:08Z) - VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。
本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。
コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。
これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
論文 参考訳（メタデータ） (2026-10-01T03:02:17Z) - Knowing the Form, Not the Function: Automatically Auditing Answer--Authority Decoupling in Legal Benchmarks [0.0]
法律ベンチマークは通常、モデルが法的権限を主張する場合でも、回答をスコアする。
我々は、回答の正しさが権威の根拠となることを示します。
法定グラウンド法定ベンチマークに対する共同回答-オーソリティ評価を提案する。
論文 参考訳（メタデータ） (2026-07-03T07:18:53Z) - Maat: The Agentic Legal Research Assistant for Competition Protection [0.0]
Maatは、研究プロセスのさまざまなタスクに対応するツールをオーケストレーションする。
RAGを信頼性に用いた公式資料の事例と調査結果を根拠にしている。
リッチなインライン引用を提供し、データベースのカバレッジが不十分な場合、Web検索にフォールバックし、ユーザに明確化を促す。
論文 参考訳（メタデータ） (2026-05-26T17:38:26Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - LegalCiteBench: Evaluating Citation Reliability in Legal Language Models [14.281332347684872]
LegalCiteBenchは、法律言語モデルにおけるクローズドブックの引用回復、引用検証、ケースマッチングを研究するためのベンチマークである。
このベンチマークは、引用検索、引用完了、引用エラー検出、ケースマッチング、ケース検証と修正の5つの引用中心タスクをカバーしている。
論文 参考訳（メタデータ） (2026-05-11T08:37:54Z) - LawThinker: A Deep Research Legal Agent in Dynamic Environments [51.782293183431676]
ローシンカー(LawThinker)は、アメリカ合衆国の法律研究者。
あらゆる知識探索のステップの後に、検証をアトミックな操作として実施する。
LawThinkerは、直接的な推論よりも24%改善している。
論文 参考訳（メタデータ） (2026-02-12T15:19:11Z) - LegalOne: A Family of Foundation Models for Reliable Legal Reasoning [54.57434222018289]
我々は、中国の法律ドメインに特化された基礎モデルのファミリーであるLegalOneを紹介します。
LegalOneは、法的推論をマスターするために設計された包括的な3フェーズパイプラインを通じて開発されている。
LegalOneの重み付けとLegalKit評価フレームワークを公開して、Legal AIの分野を前進させます。
論文 参考訳（メタデータ） (2026-01-31T10:18:32Z) - CaseFacts: A Benchmark for Legal Fact-Checking and Precedent Retrieval [5.305110876082343]
CaseFactsは、アメリカ合衆国最高裁判所の判例に対する法的主張を検証するためのベンチマークである。
データセットは、Supported、Refuted、Overruledに分類される6,294のクレームで構成されている。
論文 参考訳（メタデータ） (2026-01-23T23:41:46Z) - FIRE: Fact-checking with Iterative Retrieval and Verification [63.67320352038525]
FIREはエビデンス検索とクレーム検証を反復的に統合する新しいフレームワークである。
大きな言語モデル(LLM)のコストを平均7.6倍、検索コストを16.5倍削減しながら、パフォーマンスが若干向上している。
これらの結果から,FIREは大規模ファクトチェック業務における適用を約束していることが明らかとなった。
論文 参考訳（メタデータ） (2024-10-17T06:44:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。