論文の概要: Can LLMs Reason in a Legally Meaningful Manner? A Small-scale Study on European Court of Human Rights Cases

• arxiv url: http://arxiv.org/abs/2608.17168v1
• Date: Mon, 17 Aug 2026 22:11:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.151697
• Title: Can LLMs Reason in a Legally Meaningful Manner? A Small-scale Study on European Court of Human Rights Cases
• Title（参考訳）: LLMは法的に意味のある男に関係があるか? 欧州人権裁判所の小規模調査
• Abstract要約: 判例予測の文脈におけるLCMの理由について検討する。 我々は、欧州人権裁判所の訴訟を検問所として使用します。 検討されたモデルスコアは、法的な推論において理想とは程遠いことが判明した。
• 参考スコア（独自算出の注目度）: 17.869207928898042
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning has become a standard technique and feature for contemporary LLMs; however, its application and quality in the context of demanding legal-oriented tasks, such as legal case forecasting, remain under explored. We investigate how LLMs reason in the context of legal case forecasting, using legal cases from the European Court of Human Rights (ECtHR) as a testbed. We evaluate OpenAI GPT 5.4, a recent top-tier LLM, by exploring alternative prompting strategies that are more or less suggestive of what counts as legally meaningful reasoning in the context of ECtHR jurisprudence. We present our findings derived from assessing the model's responses with both human and LLM evaluation. We find that the examined model scores far from ideal in legal reasoning, the model produces structurally complete but substantively shallow analyses, and that LLM-as-a-Judge evaluators are internally consistent yet align only weakly with our trained annotators, i.e., reliable but not a valid substitute for human evaluation. Overall, the expert-curated prompt leads to more comprehensive reasoning, which does not result in more accurate predictions compared to the other examined settings. Based on our findings, we urge the community not to rely solely on automated LLM-based evaluation and to avoid using task accuracy as an appropriate proxy for reasoning quality.
• Abstract（参考訳）: 推論は現代のLLMの標準的な技術や特徴となっているが、法的ケース予測のような法的指向のタスクの文脈におけるその応用と品質は検討中である。 欧州人権裁判所 (ECtHR) の判例を試験台として, 訴訟予測の文脈におけるLCMの理由について検討した。 我々は、ECtHR法学の文脈において法的に有意義な理由付けとみなすものについて、多かれ少なかれ示唆する代替戦略を模索し、最近のトップ層LCMであるOpenAI GPT 5.4を評価する。 本研究は,人間とLLMの両方によるモデル応答の評価から得られた知見である。 検討されたモデルスコアは法的な推論において理想とは程遠いものであり, 構造的に完全だが実質的に浅い解析結果が得られ, LLM-as-a-Judge評価器は内部的に整合性はあるが, 訓練された注釈器, すなわち, 信頼性が高く, 人間の評価に有効な代用ではない。 全体として、専門家によって計算されたプロンプトはより包括的な推論をもたらすが、他の検査された設定よりも正確な予測は得られない。 本研究は,LCMによる自動評価のみに頼らず,作業精度を推論品質の適切なプロキシとして使用しないよう,コミュニティに促すものである。

関連論文リスト

• Toward Human Rights Benchmarking for LLMs: A Pilot Methodology [0.002301825353472044]
  HumRightsBenchは、人権法の義務構造に基づく推論を評価するための、専門家が検証したシナリオベースの最初のベンチマークである。 モデル精度のスコアは、法的な推論タスクによって大きく異なります。
  論文  参考訳（メタデータ） (2026-08-10T22:09:05Z)
• LP-Eval: Rubric and Dataset for Measuring the Quality of Legal Proposition Generation [9.599534367350227]
  本稿では,大言語モデル(LLM)を用いた欧州連合司法裁判所の決定による法的提案の自動生成と評価について検討する。 我々は、法的命題の品質を形式的妥当性と実体的次元に分解する3段階評価ルーブリックであるLP-Evalを紹介した。 以上の結果から,LLMは比較的良く形成され,高品質な命題を生成できることを示す一方,専門家による評価では,近年の事案よりも確立された事案から派生した命題の質が高いことが示唆された。
  論文  参考訳（メタデータ） (2026-05-19T13:10:39Z)
• Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training [75.98427023288052]
  LLM(Reasoning LLMs-as-Judges)は、推論モデルの成功を検証不可能な領域に拡張するための有望な道を提供する。 本研究では、強化学習に基づくLLMアライメントにおける非推論および推論判断の実際の影響について検討した。 我々は,高い効率の対向出力を生成することを学ぶことによって,理性判断訓練された政策が,そのような高い性能を達成することを見出した。
  論文  参考訳（メタデータ） (2026-03-12T17:57:06Z)
• PLawBench: A Rubric-Based Benchmark for Evaluating LLMs in Real-World Legal Practice [67.71760070255425]
  本稿では,大規模言語モデル (LLM) を評価するための実践的ベンチマークであるPLawBenchを紹介する。 PLawBenchは、13の実践的な法的シナリオにわたる850の質問で構成され、各質問には専門家が設計した評価ルーブが伴っている。 人間の専門的判断に合わせたLLMに基づく評価器を用いて,10種類の最先端のLLMを評価した。
  論文  参考訳（メタデータ） (2026-01-23T11:36:10Z)
• Large Language Models' Complicit Responses to Illicit Instructions across Socio-Legal Contexts [54.15982476754607]
  大規模言語モデル(LLM)が前例のない規模に展開され、毎日のタスクで数百万のユーザを支援している。 本研究は、複雑なファシリテーションを、不正なユーザ指示を可能にするガイダンスやサポートの提供として定義する。 実世界の訴訟と確立された法的枠組みを用いて、269件の違法なシナリオと50件の違法な意図にまたがる評価ベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-11-25T16:01:31Z)
• LLM-as-a-Judge is Bad, Based on AI Attempting the Exam Qualifying for the Member of the Polish National Board of Appeal [34.008574054602356]
  本報告では,公益調達法に関する知識試験と判決書を含む試験の構造について述べる。 いくつかのLCMはクローズドブックと様々なRetrieval-Augmented Generation設定でテストされた。 その結果,本モデルは知識テストで満足度を達成できたが,実用書面の通過しきい値には達しなかった。
  論文  参考訳（メタデータ） (2025-11-06T09:11:20Z)
• LeMAJ (Legal LLM-as-a-Judge): Bridging Legal Reasoning and LLM Evaluation [6.783926395409993]
  本稿では,弁護士が法的回答をどのように評価するかを反映した,新たな基準フリー評価手法を提案する。 提案手法は,人間の専門家による評価とより密接に関連し,アノテーション間合意の改善に有効であることを示す。
  論文  参考訳（メタデータ） (2025-10-08T17:10:47Z)
• Quantitative LLM Judges [60.773734899532336]
  本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。 モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。 実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T14:44:23Z)
• J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
  私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。 我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
  論文  参考訳（メタデータ） (2025-05-19T16:50:35Z)
• JudgeLRM: Large Reasoning Models as a Judge [80.07261839142548]
  判断指向大規模言語モデル(LLM)のファミリーであるジャッジLRMを紹介する。 SFTの性能向上と推論要求サンプルの比率との間には負の相関が見られ、これらのシナリオにおけるSFTの限界が明らかになる。 判定LRMは、他のRLおよびSFTの変種と同様に、同じサイズでSFTチューニングベースラインを一貫して上回り、最先端の推論モデルを超えていることを示す。
  論文  参考訳（メタデータ） (2025-03-31T02:18:51Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。