論文の概要: The Massive Legal Embedding Benchmark (MLEB)

• arxiv url: http://arxiv.org/abs/2510.19365v1
• Date: Wed, 22 Oct 2025 08:38:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:15.428861
• Title: The Massive Legal Embedding Benchmark (MLEB)
• Title（参考訳）: MLEB(Massive Legal Embedding Benchmark)
• Authors: Umar Butler, Abdur-Rahman Butler, Adrian Lucas Malec,
• Abstract要約: MLEB(Massive Legal Embedding Benchmark)について述べる。 MLEBは、これまでで最大の、最も多様な、そして最も包括的なオープンソースベンチマークである。 それは、複数の管轄区域にまたがる10のエキスパートアノテートデータセットで構成されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present the Massive Legal Embedding Benchmark (MLEB), the largest, most diverse, and most comprehensive open-source benchmark for legal information retrieval to date. MLEB consists of ten expert-annotated datasets spanning multiple jurisdictions (the US, UK, EU, Australia, Ireland, and Singapore), document types (cases, legislation, regulatory guidance, contracts, and literature), and task types (search, zero-shot classification, and question answering). Seven of the datasets in MLEB were newly constructed in order to fill domain and jurisdictional gaps in the open-source legal information retrieval landscape. We document our methodology in building MLEB and creating the new constituent datasets, and release our code, results, and data openly to assist with reproducible evaluations.
• Abstract（参考訳）: 我々は、これまでで最大の、最も多様性があり、最も包括的なオープンソースベンチマークであるMassive Legal Embedding Benchmark(MLEB)を提示する。 MLEBは、複数の管轄区域(米国、英国、EU、オーストラリア、アイルランド、シンガポール)、文書タイプ(ケース、法律、規制ガイダンス、契約書、文献)、タスクタイプ(検索、ゼロショット分類、質問応答)にまたがる10の専門家アノテートデータセットで構成されている。 MLEBの7つのデータセットは、オープンソース法情報検索の領域と司法のギャップを埋めるために新たに構築された。 MLEBの構築と新しい構成データセットの作成における方法論を文書化し、再現可能な評価を支援するために、コード、結果、データを公開して公開します。

関連論文リスト

• Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding [61.36285696607487]
  文書理解は、財務分析から科学的発見への応用に不可欠である。 現在のアプローチでは、OCRベースのパイプラインがLarge Language Models(LLM)やネイティブのMultimodal LLMs(MLLM)に制限されている。 Retrieval-Augmented Generation (RAG)は、外部データの基底モデルを支援するが、文書のマルチモーダルな性質は、テキスト、テーブル、チャート、レイアウトを組み合わせることで、より高度なパラダイムを必要とする。
  論文  参考訳（メタデータ） (2025-10-17T02:33:16Z)
• JuDGE: Benchmarking Judgment Document Generation for Chinese Legal System [12.256518096712334]
  JuDGE(Judgment Document Generation Evaluation)は、中国の法体系における判定文書生成の性能を評価するための新しいベンチマークである。 本研究では,実訴訟の事実記述からなる包括的データセットを構築し,対応する全判決文書と組み合わせた。 法律専門家と共同で,生成した判定文書の品質を評価するための総合的な自動評価フレームワークを構築した。
  論文  参考訳（メタデータ） (2025-03-18T13:48:18Z)
• Instruction Tuning on Public Government and Cultural Data for Low-Resource Language: a Case Study in Kazakh [57.002807772016524]
  カザフスタンの主要な制度的・文化的知識をカバーする大規模な(10,600サンプル)命令追従データセットを導入,オープンソース化する。 データセット構築のためのオープンウェイトモデルとクローズドウェイトモデルを比較し,GPT-4oをバックボーンとして選択する。 データセット上の微調整Qwen、Falcon、Gemmaは、複数の選択タスクと生成タスクの両方において、一貫したパフォーマンス改善をもたらします。
  論文  参考訳（メタデータ） (2025-02-19T11:44:27Z)
• LegalAgentBench: Evaluating LLM Agents in Legal Domain [53.70993264644004]
  LegalAgentBenchは、中国の法律領域でLLMエージェントを評価するために特別に設計されたベンチマークである。 LegalAgentBenchには、現実世界の法的シナリオから17のコーパスが含まれており、外部知識と対話するための37のツールを提供している。
  論文  参考訳（メタデータ） (2024-12-23T04:02:46Z)
• InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
  InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。 われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。 InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2024-06-21T06:19:03Z)
• Exploring Large Language Models and Hierarchical Frameworks for Classification of Large Unstructured Legal Documents [0.6349503549199403]
  我々は,大規模法律文書の分類と,深層学習に基づく階層的枠組みによる構造情報の欠如について検討する。 具体的には、文書を分割して、カスタムの微調整された大規模言語モデルの最後の4層から埋め込みを抽出する。 提案手法は,従来の最先端手法に比べて平均2ポイント程度の性能向上を実現している。
  論文  参考訳（メタデータ） (2024-03-11T16:24:08Z)
• MUSER: A Multi-View Similar Case Retrieval Dataset [65.36779942237357]
  類似事例検索(SCR)は、司法公正の促進に重要な役割を果たす代表的法的AIアプリケーションである。 既存のSCRデータセットは、ケース間の類似性を判断する際にのみ、事実記述セクションにフォーカスする。 本稿では,多視点類似度測定に基づく類似事例検索データセットMと,文レベル法定要素アノテーションを用いた包括的法定要素を提案する。
  論文  参考訳（メタデータ） (2023-10-24T08:17:11Z)
• A Hierarchical Neural Framework for Classification and its Explanation in Large Unstructured Legal Documents [0.5812284760539713]
  我々はこの問題を「注釈付き法律文書」と定義する。 我々はMEScと呼ぶディープラーニングに基づく分類フレームワークを提案する。 また、ORSEと呼ばれる説明抽出アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-19T12:18:28Z)
• \textit{StateCensusLaws.org}: A Web Application for Consuming and Annotating Legal Discourse Learning [89.77347919191774]
  法律テキストの対話セグメントを解析およびラベル付けするために訓練されたNLPモデルの出力を強調表示するためのWebアプリケーションを作成します。 我々は、米国国勢調査人口を用いて資源を割り当て、政府を組織する州レベルの法律に焦点を当てる。
  論文  参考訳（メタデータ） (2021-04-20T22:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。