論文の概要: AR-BENCH: Benchmarking Legal Reasoning with Judgment Error Detection, Classification and Correction
- arxiv url: http://arxiv.org/abs/2601.22742v1
- Date: Fri, 30 Jan 2026 09:22:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-02 18:28:15.343729
- Title: AR-BENCH: Benchmarking Legal Reasoning with Judgment Error Detection, Classification and Correction
- Title（参考訳）: AR-BENCH: 判断誤差検出・分類・補正による法理推論のベンチマーク
- Abstract要約: 法的判断は、事件状況の複雑さと法的概念の抽象的な性質による誤りを含むことがある。
現在の法的AI研究は、判断予測や法的文書生成のようなタスクに焦点を当てている。
本稿では,モデルの診断的推論と信頼性を法的に評価することを目的とした新しいタスクAPPELLATE REVIEWを紹介する。
- 参考スコア（独自算出の注目度）: 30.1142279338937
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Legal judgments may contain errors due to the complexity of case circumstances and the abstract nature of legal concepts, while existing appellate review mechanisms face efficiency pressures from a surge in case volumes. Although current legal AI research focuses on tasks like judgment prediction and legal document generation, the task of judgment review differs fundamentally in its objectives and paradigm: it centers on detecting, classifying, and correcting errors after a judgment is issued, constituting anomaly detection rather than prediction or generation. To address this research gap, we introduce a novel task APPELLATE REVIEW, aiming to assess models' diagnostic reasoning and reliability in legal practice. We also construct a novel dataset benchmark AR-BENCH, which comprises 8,700 finely annotated decisions and 34,617 supplementary corpora. By evaluating 14 large language models, we reveal critical limitations in existing models' ability to identify legal application errors, providing empirical evidence for future improvements.
- Abstract（参考訳）: 法的な判断は、ケース状況の複雑さや法的概念の抽象的な性質による誤りを含む場合もあるが、既存の審査機構では、ケースボリュームの急増による効率の低下に直面している。
現在の法的AI研究は、判断予測や法的文書生成のようなタスクに焦点を当てているが、判断レビューのタスクは、その目的とパラダイムにおいて根本的に異なる: 判断が発行された後にエラーを検出し、分類し、修正すること、予測や生成ではなく異常検出を構成すること。
そこで本研究では,モデルの診断的推論と信頼性を法的に評価することを目的とした,新たな課題APPELLATE REVIEWを提案する。
また,8,700個の細かな注釈付き決定と34,617個の補足コーパスからなる新しいベンチマークAR-BENCHを構築した。
14の大規模言語モデルを評価することで、既存のモデルが法的なアプリケーションエラーを識別する能力の限界を明らかにし、将来の改善の実証的な証拠を提供する。
関連論文リスト
- IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。
提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。
IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
論文 参考訳（メタデータ） (2026-09-09T17:59:04Z) - PROSLEX: A Novel Dataset for Expert-Annotated Legal Statute Prediction for Indian Judiciary [7.985120216055807]
インドにおける専門家による1,623の法的文書からなる包括的データセット PROSLEX について述べる。
我々は,ゼロショット,少数ショット,チェーン・オブ・シント,およびツリー・オブ・シントなど,様々なプロンプト戦略を評価し,法定予測とそれに対応する法的根拠の両方を生成する。
評価フレームワークは, 性能だけでなく, 生成した説明の一貫性と法的な妥当性も測定し, PROSLEX を説明可能なAIシステム開発のためのベンチマークとして位置づける。
論文 参考訳（メタデータ） (2026-08-09T17:24:09Z) - LexRubric: A Rubric-Guided Diagnostic Benchmark for Open-Ended Legal Tasks [42.88450102623113]
オープンな中国の法的タスクを評価するためのルーブリックベースのベンチマークであるLexRubricを紹介した。
これには、日々の法的要求と専門的な法的理由の両方を反映した、法的協議と司法試験からの649の事例が含まれる。
また、12,337人の専門家による原子鑑定基準を、統一された6次元フレームワークの下で構成している。
論文 参考訳（メタデータ） (2026-06-08T12:04:47Z) - VERDICT: Verifiable Evolving Reasoning with Directive-Informed Collegial Teams for Legal Judgment Prediction [37.517774304242444]
LJP(Lawal Judgment Prediction)は、事件事実から適用可能な法律記事、告訴、刑罰条件を予測する。
仮想コレギアルパネルをシミュレートする自己修復型協調型マルチエージェントフレームワークであるVERDICTを提案する。
論文 参考訳（メタデータ） (2026-03-13T07:19:08Z) - HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。
HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。
我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
論文 参考訳（メタデータ） (2026-02-15T02:50:15Z) - PaperAudit-Bench: Benchmarking Error Detection in Research Papers for Critical Automated Peer Review [54.141490756509306]
本稿では、エラーデータセットであるPaperAudit-Datasetと、自動レビューフレームワークであるPaperAudit-Reviewの2つのコンポーネントからなるPaperAudit-Benchを紹介する。
PaperAudit-Benchの実験では、モデルと検出深さの誤差検出可能性に大きなばらつきが示された。
本研究では,SFTおよびRLによる軽量LLM検出器のトレーニングをサポートし,計算コストの削減による効率的な誤り検出を実現する。
論文 参考訳（メタデータ） (2026-01-07T04:26:12Z) - AppellateGen: A Benchmark for Appellate Legal Judgment Generation [30.9030336647868]
7,351対のケースペアからなる第2のインスタンス法定判断生成のためのベンチマークであるAppellateGenを紹介する。
このタスクは、最初の評決と明らかな更新について推論することで、法的に拘束力のある判断を起草するモデルを必要とする。
本稿では,SOPに基づく法的マルチエージェントシステム(SLMAS)を提案し,その生成過程を個別の課題識別,検索,起草の段階に分解する。
論文 参考訳（メタデータ） (2026-01-04T02:15:17Z) - ReaKase-8B: Legal Case Retrieval via Knowledge and Reasoning Representations with LLMs [37.688405624086315]
ReaKase-8Bフレームワークは、抽出された法的事実、法的問題、法的関係のトリプレット、および効果的な訴訟検索のための法的推論を活用するために提案されている。
COLIEE 2022とCOLIEE 2023による2つのベンチマークデータセットの実験により、我々の知識と拡張埋め込みの推論が検索性能を大幅に向上することを示した。
論文 参考訳（メタデータ） (2025-10-30T06:35:36Z) - Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。
これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。
本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-29T08:48:00Z) - ClaimGen-CN: A Large-scale Chinese Dataset for Legal Claim Generation [56.79698529022327]
法的な主張は、事件における原告の要求を言及し、法的理由づけと事件解決を導くのに不可欠である。
本稿では,その事例の事実に基づく法的クレーム生成の問題について考察する。
われわれは,中国法定クレーム生成タスクの最初のデータセットであるClaymGen-CNを構築した。
論文 参考訳（メタデータ） (2025-08-24T07:19:25Z) - GLARE: Agentic Reasoning for Legal Judgment Prediction [60.13483016810707]
法学分野では、法的判断予測(LJP)がますます重要になっている。
既存の大規模言語モデル (LLM) には、法的な知識が不足しているため、推論に不十分な重大な問題がある。
GLAREは,異なるモジュールを呼び出し,重要な法的知識を動的に獲得するエージェント的法的推論フレームワークである。
論文 参考訳（メタデータ） (2025-08-22T13:38:12Z) - AppealCase: A Dataset and Benchmark for Civil Case Appeal Scenarios [47.83822985839837]
本稿では,91件の民事事件の1万対の実世界と一致した第1インスタンスと第2インスタンスの文書からなるFiceCaseデータセットを提案する。
このデータセットには、判断の逆転、逆転理由、引用された法的規定、クレームレベルの決定、第2のインスタンスに新たな情報があるかどうかという5つの側面に沿った詳細なアノテーションも含まれている。
実験結果から, すべてのモデルが判定逆転予測タスクにおいて50%未満のF1スコアを達成し, 魅力シナリオの複雑さと課題を浮き彫りにしていることがわかった。
論文 参考訳（メタデータ） (2025-05-22T10:50:33Z) - Enabling Discriminative Reasoning in LLMs for Legal Judgment Prediction [23.046342240176575]
人間の推論に触発されたAsk-Discriminate-Predict(ADAPT)推論フレームワークを紹介する。
ADAPTは、ケース事実を分解し、潜在的な電荷を識別し、最終的な判断を予測する。
広く利用されている2つのデータセットに対して行われた実験は、法的な判断予測において、我々のフレームワークの優れた性能を示す。
論文 参考訳（メタデータ） (2024-07-02T05:43:15Z) - Leveraging Large Language Models for Relevance Judgments in Legal Case Retrieval [16.29803062332164]
本稿では,大規模言語モデルによる専門家による関連判断の生成を支援する,数ショットのアプローチを提案する。
提案手法は,人間のアノテータのワークフローを模倣して,判断過程をいくつかの段階に分解する。
また、解釈可能なデータラベリングを保証し、関連性評価プロセスにおける透明性と明確性を提供します。
論文 参考訳（メタデータ） (2024-03-27T09:46:56Z) - Exploiting Contrastive Learning and Numerical Evidence for Confusing
Legal Judgment Prediction [46.71918729837462]
訴訟の事実記述文を考慮し、法的判断予測は、事件の告訴、法律記事、刑期を予測することを目的としている。
従来の研究では、標準的なクロスエントロピー分類損失と異なる分類誤差を区別できなかった。
本稿では,モコに基づく教師付きコントラスト学習を提案する。
さらに,事前学習した数値モデルにより符号化された抽出された犯罪量による事実記述の表現をさらに強化する。
論文 参考訳（メタデータ） (2022-11-15T15:53:56Z) - Legal Judgment Prediction with Multi-Stage CaseRepresentation Learning
in the Real Court Setting [25.53133777558123]
本稿では, 実地裁判所から新たなデータセットを導入し, 法的な判断を合理的に百科事典的に予測する。
大規模な民事裁判データセットを用いた広範な実験は、提案モデルが、法的判断予測のためのクレーム、事実、議論の間の相互作用をより正確に特徴付けることができることを示している。
論文 参考訳（メタデータ） (2021-07-12T04:27:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。