論文の概要: Evaluating Test-Time Scaling LLMs for Legal Reasoning: OpenAI o1, DeepSeek-R1, and Beyond

• arxiv url: http://arxiv.org/abs/2503.16040v1
• Date: Thu, 20 Mar 2025 11:14:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 15:30:52.363376
• Title: Evaluating Test-Time Scaling LLMs for Legal Reasoning: OpenAI o1, DeepSeek-R1, and Beyond
• Title（参考訳）: 法的推論のためのテスト時間スケーリングLDMの評価:OpenAI o1、DeepSeek-R1など
• Authors: Yaoyao Yu, Leilei Gan, Yinghao Hu, Bin Wei, Kun Kuang, Fei Wu,
• Abstract要約: テスト時間スケーリング 大規模言語モデル(LLM)は、様々なドメインやタスク、特に推論において、例外的な機能を示している。 各種法シナリオにおけるLCMの予備的評価について,中国語と英語の両方の法的課題について述べる。 以上の結果から,DeepSeek-R1 と OpenAI o1 が最強モデルであるにもかかわらず,法的理由付け能力は依然として不足していることが示唆された。
• 参考スコア（独自算出の注目度）: 29.03425022434831
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Test-Time Scaling Large Language Models (LLMs), such as DeepSeek-R1 and OpenAI o1, have demonstrated exceptional capabilities across various domains and tasks, particularly in reasoning. While these models have shown impressive performance on general language tasks, their effectiveness in specialized fields like legal remains unclear. To address this, we present a preliminary evaluation of LLMs in various legal scenarios, covering both Chinese and English legal tasks. Our analysis includes 9 LLMs and 17 legal tasks, with a focus on newly published and more complex challenges such as multi-defendant legal judgments and legal argument reasoning. Our findings indicate that, despite DeepSeek-R1 and OpenAI o1 being among the most powerful models, their legal reasoning capabilities are still lacking. Specifically, these models score below 80\% on seven Chinese legal reasoning tasks and below 80\% on two English legal reasoning tasks. This suggests that, even among the most advanced reasoning models, legal reasoning abilities remain underdeveloped.
• Abstract（参考訳）: 近年,DeepSeek-R1やOpenAI o1といったLLM(Test-Time Scaling Large Language Models)は,さまざまなドメインやタスク,特に推論において,例外的な機能を示している。 これらのモデルは、一般的な言語タスクにおいて印象的なパフォーマンスを示しているが、法律のような専門分野における有効性は、まだ不明である。 そこで本稿では,中国語と英語の両方の法的課題をカバーする,様々な法的シナリオにおけるLCMの予備的評価について述べる。 我々の分析には9つのLSMと17の法的タスクが含まれており、マルチディペンダントな法的判断や法的議論の推論といった、より複雑な課題に焦点が当てられている。 以上の結果から,DeepSeek-R1 と OpenAI o1 が最強モデルであるにもかかわらず,法的理由付け能力は依然として不足していることが示唆された。 具体的には、これらのモデルは7つの中国の法的推論タスクで80%以下、そして2つのイングランドの法的な推論タスクで80%以下である。 これは、最も先進的な推論モデルの中でも、法的推論能力が未発達であることを示している。

関連論文リスト

• J&H: Evaluating the Robustness of Large Language Models Under Knowledge-Injection Attacks in Legal Domain [12.550611136062722]
  本稿では,ロバストネステストのための法的な知識注入攻撃法を提案する。 本フレームワークの目的は,LLMが法的タスクを遂行する際の演能的推論を行うかどうかを検討することである。 我々は、法律の専門家が現実世界の司法判断で犯す可能性のある誤りを収集した。
  論文  参考訳（メタデータ） (2025-03-24T05:42:05Z)
• LexPro-1.0 Technical Report [19.83460019437367]
  高度に専門化された中国の法律ドメイン用に設計された大規模言語モデルであるLexPro-1.0について紹介する。 これを解決するために、まず中国31州から20種類以上の犯罪を対象とする数百万件の法的文書を収集し、モデルトレーニングを行った。 このモデルは、さらなる監督なしに大規模な強化学習を行い、推論能力と説明可能性の向上を強調している。
  論文  参考訳（メタデータ） (2025-03-10T05:54:23Z)
• AnnoCaseLaw: A Richly-Annotated Dataset For Benchmarking Explainable Legal Judgment Prediction [56.797874973414636]
  AnnoCaseLawは、アメリカ合衆国控訴裁判所の無視事件を慎重に注釈付けした471のデータセットである。 我々のデータセットは、より人間らしく説明可能な法的な判断予測モデルの基礎となる。 その結果、LJPは依然として厳しい課題であり、法的な前例の適用は特に困難であることが示されている。
  論文  参考訳（メタデータ） (2025-02-28T19:14:48Z)
• LegalAgentBench: Evaluating LLM Agents in Legal Domain [53.70993264644004]
  LegalAgentBenchは、中国の法律領域でLLMエージェントを評価するために特別に設計されたベンチマークである。 LegalAgentBenchには、現実世界の法的シナリオから17のコーパスが含まれており、外部知識と対話するための37のツールを提供している。
  論文  参考訳（メタデータ） (2024-12-23T04:02:46Z)
• Legal Evalutions and Challenges of Large Language Models [42.51294752406578]
  我々は,OPENAI o1モデルを事例研究として,法律規定の適用における大規模モデルの性能評価に利用した。 我々は、オープンソース、クローズドソース、および法律ドメインのために特別に訓練された法律固有のモデルを含む、最先端のLLMを比較します。
  論文  参考訳（メタデータ） (2024-11-15T12:23:12Z)
• InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
  InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。 われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。 InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2024-06-21T06:19:03Z)
• PARAMANU-AYN: Pretrain from scratch or Continual Pretraining of LLMs for Legal Domain Adaptation? [3.9018931027384056]
  パラマヌ・アイン(Paramanu-Ayn)は、インドの訴訟文書に特化して訓練された法律言語モデルのコレクションである。 Paramanu-Aynは1つのGPU上でわずか185時間、コンテキストサイズ8192のスクラッチから事前トレーニングされた。
  論文  参考訳（メタデータ） (2024-03-20T15:39:54Z)
• BLT: Can Large Language Models Handle Basic Legal Text? [44.89873147675516]
  GPT-4とClaudeは、基本的な法的テキスト処理では性能が良くない。 ベンチマークの粗悪なパフォーマンスは、法的慣行の信頼性を疑うものだ。 トレーニングセットの微調整は、小さなモデルでもほぼ完璧なパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2023-11-16T09:09:22Z)
• Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model Collaboration [52.57055162778548]
  法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。 先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。 近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
  論文  参考訳（メタデータ） (2023-10-13T16:47:20Z)
• LAiW: A Chinese Legal Large Language Models Benchmark [17.66376880475554]
  一般および法的ドメイン LLM は LegalAI の様々なタスクにおいて高いパフォーマンスを示している。 われわれは、法的な実践の論理に基づいて、中国の法的LLMベンチマークLAiWを最初に構築しました。
  論文  参考訳（メタデータ） (2023-10-09T11:19:55Z)
• Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
  我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。 判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
  論文  参考訳（メタデータ） (2021-05-09T09:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。