論文の概要: Do Large Language Models Know Colombian Law? A Reliability Benchmark for the Colombian Legal System

• arxiv url: http://arxiv.org/abs/2610.03639v1
• Date: Fri, 02 Oct 2026 17:27:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.51682
• Title: Do Large Language Models Know Colombian Law? A Reliability Benchmark for the Colombian Legal System
• Title（参考訳）: 大規模言語モデルはコロンビアの法則を知っているか? : コロンビアの法体系の信頼性ベンチマーク
• Abstract要約: 大規模言語モデル (LLM) は、法的な実践、教育、研究を支援するためにますます使われている。 コロンビアの法体系上でのLCMの信頼性を評価するための専門家検証ベンチマークを導入する。 フォーマットに適したメトリクスを持つ15の現代的プロプライエタリおよびオープンウェイトモデルを評価する。
• 参考スコア（独自算出の注目度）: 1.0262304700896199
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used to support legal practice, education, and research, yet their reliability in national legal systems outside the United States remains largely undocumented. We introduce an expert-validated benchmark for evaluating LLM reliability on the Colombian legal system. The benchmark comprises 1,042 items spanning ten areas of law and three question formats (closed multiple-choice, semi-open, and open-ended IRAC), built through a human-in-the-loop pipeline with multi-stage expert review. We evaluate 15 contemporary proprietary and open-weight models with format-appropriate metrics. Accuracy on closed questions ranges widely, from 0.905 (Gemini 3.1 Pro) to 0.577, but on free-text legal answers factual correctness never exceeds 0.45 (on a 0-1 scale) for any model. We find a dissociation between answer relevancy and correctness (Spearman rho = -0.46): models reliably sound responsive while frequently being wrong, a pattern of particular concern for non-expert users. Closed-question accuracy and free-text correctness are strongly rank-correlated (rho = 0.94), so cheap multiple-choice screening predicts model ranking but overstates absolute reliability. An independent rubric-based LLM judge and blind human expert scoring both reproduce the free-text ranking (rho >= 0.88). The judge further reveals that only about half of the norms models cite are correct; the rest are wrong or non-existent. Reliability varies systematically by legal area and follows an inverted-U across question complexity. Our results indicate that current LLMs require expert supervision for Colombian legal tasks, and that grounding answers in authoritative sources is a promising path to higher reliability. We release the benchmark construction pipeline to support reproducible evaluation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、法律の実践、教育、研究を支援するためにますます使われているが、米国外の国家法体系における信頼性はほとんど文書化されていない。 コロンビアの法体系上でのLCMの信頼性を評価するための専門家検証ベンチマークを導入する。 このベンチマークは、10の法律領域にまたがる1,042の項目と3つの質問フォーマット(複数選択、セミオープン、オープンエンドのIRAC)からなる。 フォーマットに適したメトリクスを持つ15の現代的プロプライエタリおよびオープンウェイトモデルを評価する。 クローズドな質問の正確性は0.905 (Gemini 3.1 Pro) から0.577まで幅広いが、自由文の法的回答では、どのモデルに対しても0.45(0-1スケール)を超えることはない。 回答の妥当性と正しさの解離(Spearman rho = -0.46):モデルは、頻繁に誤っている間、確実に応答する。 クローズドクエスト精度と自由テキストの正しさは強いランク関連(rho = 0.94)であるため、安価な多重選択スクリーニングはモデルランキングを予測するが、絶対的な信頼性を誇張する。 フリーテキストランキング(rho >= 0.88)を再現する。 裁判官はさらに、引用するノルムの約半分が正しいこと、残りは間違っているか存在しないことを明らかにしている。 信頼性は法域によって体系的に変化し、問題複雑性全体にわたって逆Uに従う。 以上の結果から,現在のLSMはコロンビアの法務業務の専門的な監督を必要としており,信頼性向上への道筋として信頼できる情報源の根拠となることが示唆された。 再現可能な評価をサポートするためのベンチマーク構築パイプラインをリリースする。

関連論文リスト

• Legal Research Bench: Measuring End-to-End Reliability in Long-Horizon Legal Research Agents [0.05384415989912719]
  textbfLegal Research Bench (LRB) は、専門家によって書かれた413の米国法研究質問のベンチマークである。 ウェブ検索,ケースロー検索,ページ解析,検索ツールを用いた13のフロンティアモデルの評価を行った。 ソース検証による全パスグレーディングを通じてエージェント応答をスコアし、要求された基準が満たされ、引用された当局が検証した場合にのみ応答が正される。
  論文  参考訳（メタデータ） (2026-09-30T19:13:16Z)
• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• InsufficiencyBench: Evaluating LLM legal advice on underspecified user queries [18.0624065854059]
  InsufficiencyBenchは、クエリサイドの障害をターゲットとする最初の法定ベンチマークです。 我々は3つの構造的故障モードにまたがる8つの標準的欠落要素カテゴリーの分類を定式化する。 完全なクエリを直接処理しながら、不十分なクエリに対する応答を識別し、資格付けするモデルはありません。
  論文  参考訳（メタデータ） (2026-08-20T16:14:47Z)
• From Benchmarking to Reasoning: A Dual-Aspect, Large-Scale Evaluation of LLMs on Vietnamese Legal Text [0.0]
  本稿では、このニーズに対処するための総合的な二重アスペクト評価フレームワークを提案する。 正確性、可読性、一貫性の3つの重要な側面にわたる、最先端の4つの大規模言語モデルのパフォーマンスベンチマークを構築します。 Grok-1のようなモデルは可読性と一貫性に優れているが、きめ細かい法的な正確性に妥協する。
  論文  参考訳（メタデータ） (2026-04-17T17:28:23Z)
• Can Large Language Models Express Uncertainty Like Human? [71.27418419522884]
  我々は,人間に注釈を付けた信頼スコアを持つヘッジ式の最初の多種多様な大規模データセットをリリースする。 現代大言語モデルにまたがる言語信頼に関する最初の体系的研究を行う。
  論文  参考訳（メタデータ） (2025-09-29T02:34:30Z)
• Can Large Language Models Understand As Well As Apply Patent Regulations to Pass a Hands-On Patent Attorney Test? [2.7998963147546143]
  OpenAI o1は0.82の精度と0.81のF1スコアでリードし、(Amazon Web Services)AWS Llama 3.1 8Bは0.50の精度でラグされ、PythonでデプロイされたLlama 3.1 8Bは0.55となった。 評価されたモデルのどれも、専門家レベルの基準に要求される平均0.90の閾値を超えなかったため、試験に完全に合格することはできなかった。 人間の特許専門家は、テキストの正当性を評価し、各モデルの様々な重要な欠点を明らかにした。
  論文  参考訳（メタデータ） (2025-07-11T09:42:23Z)
• LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
  textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。 このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。 この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
  論文  参考訳（メタデータ） (2025-05-19T08:48:12Z)
• One Thousand and One Pairs: A "novel" challenge for long-context language models [56.60667988954638]
  NoChaは、67冊の架空の書籍に関する1,001対の真偽の主張のデータセットである。 当社のアノテータは、NoChaにおけるペアの最大シェアは、本全体に対するグローバルな推論を必要としていることを確認しています。 平均的なモデルでは、文レベルの検索しか必要としないペアの方が、グローバルな推論よりもはるかに優れています。
  論文  参考訳（メタデータ） (2024-06-24T02:03:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。