論文の概要: Validate Your Authority: Benchmarking LLMs on Multi-Label Precedent Treatment Classification
- arxiv url: http://arxiv.org/abs/2605.17691v1
- Date: Sun, 17 May 2026 23:15:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:48.399473
- Title: Validate Your Authority: Benchmarking LLMs on Multi-Label Precedent Treatment Classification
- Title（参考訳）: 権限の検証: マルチラベル前処理分類におけるLCMのベンチマーク
- Authors: M. Mikail Demir, M. Abdullah Canbaz,
- Abstract要約: われわれは、239の現実世界の法的な引用を専門家が注釈付けしたデータセットに基づいて、最新のLarge Language Modelsをベンチマークした。
GoogleのGemini 2.5 Flashは、ハイレベルな分類タスクで最高の精度を達成した。
OpenAIのGPT-5-miniは、より複雑なきめ細かなスキーマでトップパフォーマーであった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automating the classification of negative treatment in legal precedent is a critical yet nuanced NLP task where misclassification carries significant risk. To address the shortcomings of standard accuracy, this paper introduces a more robust evaluation framework. We benchmark modern Large Language Models on a new, expert-annotated dataset of 239 real-world legal citations and propose a novel Average Severity Error metric to better measure the practical impact of classification errors. Our experiments reveal a performance split. Google's Gemini 2.5 Flash achieved the highest accuracy on a high-level classification task (79.1%), while OpenAI's GPT-5-mini was the top performer on the more complex fine-grained schema (67.7%). This work establishes a crucial baseline, provides a new context-rich dataset, and introduces an evaluation metric tailored to the demands of this complex legal reasoning task.
- Abstract（参考訳）: 法的先例における否定的治療の分類を自動化することは、誤分類が重大なリスクをもたらす重大なNLPタスクである。
本稿では,標準精度の欠点に対処するため,より堅牢な評価フレームワークを提案する。
我々は,239の現実の法的な引用を専門家が注釈付けした新しいデータセットに基づいて,最新の大規模言語モデルをベンチマークし,分類誤りの実践的影響をより正確に評価するための,新しい平均重大度誤差尺度を提案する。
我々の実験では性能が分かれている。
GoogleのGemini 2.5 Flashはハイレベルな分類タスク(79.1%)で最高の精度を達成し、OpenAIのGPT-5-miniはより複雑なきめ細かいスキーマ(67.7%)でトップパフォーマーとなった。
この研究は重要なベースラインを確立し、新しい文脈に富んだデータセットを提供し、この複雑な法的推論タスクの要求に合わせた評価基準を導入する。
関連論文リスト
- HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。
HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。
我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
論文 参考訳（メタデータ） (2026-02-15T02:50:15Z) - CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。
CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
論文 参考訳（メタデータ） (2025-07-12T01:34:24Z) - A Small Claims Court for the NLP: Judging Legal Text Classification Strategies With Small Datasets [0.0]
本稿では,小ラベル付きデータセットと大量の未ラベルデータの使用を最適化するための最善の戦略について検討する。
我々は,ブラジルの検察官事務所に要求の記録を用いて,対象の1つに記述を割り当てる。
その結果, BERTとデータ拡張, 半教師付き学習戦略を併用したUnsupervised Data Augmentation (UDA) が得られた。
論文 参考訳（メタデータ） (2024-09-09T18:10:05Z) - MAFALDA: A Benchmark and Comprehensive Study of Fallacy Detection and Classification [8.687019236393123]
我々は、以前の誤検出データセットをマージし、結合する誤検出分類のベンチマークであるMAFALDAを紹介する。
ファラシーの既存の分類を調整し、洗練し、統一する分類法が付属している。
主観的NLPタスクに適した新しいアノテーションスキームと主観性を扱うための新しい評価手法を提案する。
論文 参考訳（メタデータ） (2023-11-16T10:35:11Z) - Investigating the Limitation of CLIP Models: The Worst-Performing
Categories [53.360239882501325]
コントラスト言語-画像事前学習(CLIP)は、自然言語を視覚概念に統合する基礎モデルを提供する。
通常、十分に設計されたテキストプロンプトによって、多くの領域で満足な全体的な精度が達成できると期待されている。
しかし、最悪のカテゴリにおけるパフォーマンスは、全体的なパフォーマンスよりも著しく劣っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T05:37:33Z) - Test-Time Amendment with a Coarse Classifier for Fine-Grained
Classification [10.719054378755981]
階層的アンサンブル(HiE)と呼ばれるポストホック補正のための新しいアプローチを提案する。
HiEはラベル階層を利用して、粗い粒度予測を用いてテスト時のきめ細かい分類の性能を向上させる。
提案手法は,細粒度クラスにおいてトレーニングデータが減少するにつれて,誤りの重大度が著しく低下する一方で,トップ1の精度において顕著な向上をもたらす。
論文 参考訳（メタデータ） (2023-02-01T10:55:27Z) - Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。
AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。
提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-03T11:09:13Z) - Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。
また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
論文 参考訳（メタデータ） (2021-01-02T07:13:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。