論文の概要: Evaluating Test-Time Scaling LLMs for Legal Reasoning: OpenAI o1, DeepSeek-R1, and Beyond

• arxiv url: http://arxiv.org/abs/2503.16040v1
• Date: Thu, 20 Mar 2025 11:14:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 15:30:52.363376
• Title: Evaluating Test-Time Scaling LLMs for Legal Reasoning: OpenAI o1, DeepSeek-R1, and Beyond
• Title（参考訳）: 法的推論のためのテスト時間スケーリングLDMの評価:OpenAI o1、DeepSeek-R1など
• Authors: Yaoyao Yu, Leilei Gan, Yinghao Hu, Bin Wei, Kun Kuang, Fei Wu,
• Abstract要約: テスト時間スケーリング 大規模言語モデル(LLM)は、様々なドメインやタスク、特に推論において、例外的な機能を示している。 各種法シナリオにおけるLCMの予備的評価について,中国語と英語の両方の法的課題について述べる。 以上の結果から,DeepSeek-R1 と OpenAI o1 が最強モデルであるにもかかわらず,法的理由付け能力は依然として不足していることが示唆された。
• 参考スコア（独自算出の注目度）: 29.03425022434831
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Test-Time Scaling Large Language Models (LLMs), such as DeepSeek-R1 and OpenAI o1, have demonstrated exceptional capabilities across various domains and tasks, particularly in reasoning. While these models have shown impressive performance on general language tasks, their effectiveness in specialized fields like legal remains unclear. To address this, we present a preliminary evaluation of LLMs in various legal scenarios, covering both Chinese and English legal tasks. Our analysis includes 9 LLMs and 17 legal tasks, with a focus on newly published and more complex challenges such as multi-defendant legal judgments and legal argument reasoning. Our findings indicate that, despite DeepSeek-R1 and OpenAI o1 being among the most powerful models, their legal reasoning capabilities are still lacking. Specifically, these models score below 80\% on seven Chinese legal reasoning tasks and below 80\% on two English legal reasoning tasks. This suggests that, even among the most advanced reasoning models, legal reasoning abilities remain underdeveloped.
• Abstract（参考訳）: 近年,DeepSeek-R1やOpenAI o1といったLLM(Test-Time Scaling Large Language Models)は,さまざまなドメインやタスク,特に推論において,例外的な機能を示している。 これらのモデルは、一般的な言語タスクにおいて印象的なパフォーマンスを示しているが、法律のような専門分野における有効性は、まだ不明である。 そこで本稿では,中国語と英語の両方の法的課題をカバーする,様々な法的シナリオにおけるLCMの予備的評価について述べる。 我々の分析には9つのLSMと17の法的タスクが含まれており、マルチディペンダントな法的判断や法的議論の推論といった、より複雑な課題に焦点が当てられている。 以上の結果から,DeepSeek-R1 と OpenAI o1 が最強モデルであるにもかかわらず,法的理由付け能力は依然として不足していることが示唆された。 具体的には、これらのモデルは7つの中国の法的推論タスクで80%以下、そして2つのイングランドの法的な推論タスクで80%以下である。 これは、最も先進的な推論モデルの中でも、法的推論能力が未発達であることを示している。

関連論文リスト

• LegalOne: A Family of Foundation Models for Reliable Legal Reasoning [54.57434222018289]
  我々は、中国の法律ドメインに特化された基礎モデルのファミリーであるLegalOneを紹介します。 LegalOneは、法的推論をマスターするために設計された包括的な3フェーズパイプラインを通じて開発されている。 LegalOneの重み付けとLegalKit評価フレームワークを公開して、Legal AIの分野を前進させます。
  論文  参考訳（メタデータ） (2026-01-31T10:18:32Z)
• PLawBench: A Rubric-Based Benchmark for Evaluating LLMs in Real-World Legal Practice [67.71760070255425]
  本稿では,大規模言語モデル (LLM) を評価するための実践的ベンチマークであるPLawBenchを紹介する。 PLawBenchは、13の実践的な法的シナリオにわたる850の質問で構成され、各質問には専門家が設計した評価ルーブが伴っている。 人間の専門的判断に合わせたLLMに基づく評価器を用いて,10種類の最先端のLLMを評価した。
  論文  参考訳（メタデータ） (2026-01-23T11:36:10Z)
• ReGal: A First Look at PPO-based Legal AI for Judgment Prediction and Summarization in India [10.522785783474857]
  本稿では,Reinforcement Learning-based Legal Reasoning(ReGal)を紹介する。 本手法は, (i) 裁判所判断予測・説明(CJPE) と (ii) 法的文書要約の2つの重要な法的課題にまたがって評価される。
  論文  参考訳（メタデータ） (2025-12-19T19:13:41Z)
• Evaluating Legal Reasoning Traces with Legal Issue Tree Rubrics [49.3262123849242]
  LEGIT(LEGal Issue Trees)は,新しい大規模(24Kインスタンス)の専門家レベルの法的推論データセットである。 我々は、裁判判決を、当事者の議論と裁判所の結論の階層的な木に変換する。
  論文  参考訳（メタデータ） (2025-11-30T18:32:43Z)
• Benchmarking Multi-Step Legal Reasoning and Analyzing Chain-of-Thought Effects in Large Language Models [8.769542756426786]
  我々は,M SLRを紹介した。これは,実世界の司法判断に基礎を置いた,中国初の多段階の法的推論データセットである。 M SLR は IRAC フレームワーク (Issue, Rule, Application, Conclusion) を採用し、公式な法的文書からの構造化専門家の推論をモデル化している。 我々は,ステップレベルの詳細な推論アノテーションを効率よく生成する,スケーラブルなHuman-LLM協調アノテーションパイプラインを設計する。 さらなる実験では、モデルによって生成される自己開始型チェーン・オブ・ワットプロンプトが、推論のコヒーレンスと品質を自律的に改善し、人間によって設計されたプロンプトを上回ることが示されている。
  論文  参考訳（メタデータ） (2025-11-11T08:45:29Z)
• Unilaw-R1: A Large Language Model for Legal Reasoning with Reinforcement Learning and Iterative Inference [15.567885200167913]
  法的な推論に適した大規模言語モデルであるUnilaw-R1を紹介する。 軽量な7ビリオンパラメータスケールにより、Unilaw-R1はデプロイメントコストを大幅に削減する。 法律分野では、不十分な法的知識、信頼できない推論論理、弱いビジネス一般化の3つの主要な課題に取り組む。
  論文  参考訳（メタデータ） (2025-10-11T07:17:22Z)
• GLARE: Agentic Reasoning for Legal Judgment Prediction [60.13483016810707]
  法学分野では、法的判断予測(LJP)がますます重要になっている。 既存の大規模言語モデル (LLM) には、法的な知識が不足しているため、推論に不十分な重大な問題がある。 GLAREは,異なるモジュールを呼び出し,重要な法的知識を動的に獲得するエージェント的法的推論フレームワークである。
  論文  参考訳（メタデータ） (2025-08-22T13:38:12Z)
• Ready Jurist One: Benchmarking Language Agents for Legal Intelligence in Dynamic Environments [24.249035670782092]
  LLMをベースとしたエージェントに適した,対話型かつダイナミックな法律環境であるJ1-ENVSを紹介する。 環境複雑さの3段階にわたる中国の法律の6つの代表的なシナリオで構成されている。 また、タスクパフォーマンスと手続き的コンプライアンスの両方を評価するために、きめ細かい評価フレームワークであるJ1-EVALを導入します。
  論文  参考訳（メタデータ） (2025-07-05T13:31:21Z)
• RLJP: Legal Judgment Prediction via First-Order Logic Rule-enhanced with Large Language Models [58.69183479148083]
  法的判断予測(LJP)は、法的AIにおいて重要な課題である。 既存のLJPモデルは、高いパフォーマンスのために司法上の前例と法的な知識を統合している。 しかし彼らは、厳密な論理分析を必要とする法的判断の重要な要素である法的推論論理を無視している。 本稿では、一階述語論理(FOL)形式と比較学習(CL)に基づく規則強化された法的判断予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-27T14:50:21Z)
• LEXam: Benchmarking Legal Reasoning on 340 Law Exams [61.344330783528015]
  LEXamは、様々な科目と学位レベルの116の法学校コースにまたがる340の法試験から派生した、新しいベンチマークである。 このデータセットは、英語とドイツ語で4,886の法試験の質問で構成されており、その中には2,841の長文のオープンエンドの質問と2,045のマルチチョイスの質問が含まれている。
  論文  参考訳（メタデータ） (2025-05-19T08:48:12Z)
• J&H: Evaluating the Robustness of Large Language Models Under Knowledge-Injection Attacks in Legal Domain [12.550611136062722]
  本稿では,ロバストネステストのための法的な知識注入攻撃法を提案する。 本フレームワークの目的は,LLMが法的タスクを遂行する際の演能的推論を行うかどうかを検討することである。 我々は、法律の専門家が現実世界の司法判断で犯す可能性のある誤りを収集した。
  論文  参考訳（メタデータ） (2025-03-24T05:42:05Z)
• LexPro-1.0 Technical Report [19.83460019437367]
  高度に専門化された中国の法律ドメイン用に設計された大規模言語モデルであるLexPro-1.0について紹介する。 これを解決するために、まず中国31州から20種類以上の犯罪を対象とする数百万件の法的文書を収集し、モデルトレーニングを行った。 このモデルは、さらなる監督なしに大規模な強化学習を行い、推論能力と説明可能性の向上を強調している。
  論文  参考訳（メタデータ） (2025-03-10T05:54:23Z)
• AnnoCaseLaw: A Richly-Annotated Dataset For Benchmarking Explainable Legal Judgment Prediction [56.797874973414636]
  AnnoCaseLawは、アメリカ合衆国控訴裁判所の無視事件を慎重に注釈付けした471のデータセットである。 我々のデータセットは、より人間らしく説明可能な法的な判断予測モデルの基礎となる。 その結果、LJPは依然として厳しい課題であり、法的な前例の適用は特に困難であることが示されている。
  論文  参考訳（メタデータ） (2025-02-28T19:14:48Z)
• LegalAgentBench: Evaluating LLM Agents in Legal Domain [53.70993264644004]
  LegalAgentBenchは、中国の法律領域でLLMエージェントを評価するために特別に設計されたベンチマークである。 LegalAgentBenchには、現実世界の法的シナリオから17のコーパスが含まれており、外部知識と対話するための37のツールを提供している。
  論文  参考訳（メタデータ） (2024-12-23T04:02:46Z)
• Legal Evalutions and Challenges of Large Language Models [42.51294752406578]
  我々は,OPENAI o1モデルを事例研究として,法律規定の適用における大規模モデルの性能評価に利用した。 我々は、オープンソース、クローズドソース、および法律ドメインのために特別に訓練された法律固有のモデルを含む、最先端のLLMを比較します。
  論文  参考訳（メタデータ） (2024-11-15T12:23:12Z)
• InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
  InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。 われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。 InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2024-06-21T06:19:03Z)
• PARAMANU-AYN: Pretrain from scratch or Continual Pretraining of LLMs for Legal Domain Adaptation? [3.9018931027384056]
  パラマヌ・アイン(Paramanu-Ayn)は、インドの訴訟文書に特化して訓練された法律言語モデルのコレクションである。 Paramanu-Aynは1つのGPU上でわずか185時間、コンテキストサイズ8192のスクラッチから事前トレーニングされた。
  論文  参考訳（メタデータ） (2024-03-20T15:39:54Z)
• BLT: Can Large Language Models Handle Basic Legal Text? [44.89873147675516]
  GPT-4とClaudeは、基本的な法的テキスト処理では性能が良くない。 ベンチマークの粗悪なパフォーマンスは、法的慣行の信頼性を疑うものだ。 トレーニングセットの微調整は、小さなモデルでもほぼ完璧なパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2023-11-16T09:09:22Z)
• Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model Collaboration [52.57055162778548]
  法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。 先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。 近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
  論文  参考訳（メタデータ） (2023-10-13T16:47:20Z)
• LAiW: A Chinese Legal Large Language Models Benchmark [17.66376880475554]
  一般および法的ドメイン LLM は LegalAI の様々なタスクにおいて高いパフォーマンスを示している。 われわれは、法的な実践の論理に基づいて、中国の法的LLMベンチマークLAiWを最初に構築しました。
  論文  参考訳（メタデータ） (2023-10-09T11:19:55Z)
• Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
  我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。 判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
  論文  参考訳（メタデータ） (2021-05-09T09:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。