論文の概要: Assessing the Performance Gap Between Lexical and Semantic Models for Information Retrieval With Formulaic Legal Language

• arxiv url: http://arxiv.org/abs/2506.12895v1
• Date: Sun, 15 Jun 2025 15:53:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:47.091541
• Title: Assessing the Performance Gap Between Lexical and Semantic Models for Information Retrieval With Formulaic Legal Language
• Title（参考訳）: 形式法的言語を用いた情報検索のための語彙モデルと意味モデルのパフォーマンス向上の評価
• Authors: Larissa Mori, Carlos Sousa de Oliveira, Yuehwern Yih, Mario Ventresca,
• Abstract要約: 本研究は,欧州連合司法裁判所(CJEU)の判決から法律又は段落を回収する業務について検討する。 実験の結果,BM25は7つのパフォーマンス指標のうち4つにおいて,市販の高密度モデルを上回る強力なベースラインであることが判明した。 ドメイン固有のデータに対する厳密なモデルを微調整することでパフォーマンスが向上し、ほとんどのメトリクスでBM25を上回った。
• 参考スコア（独自算出の注目度）: 1.3499500088995462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Legal passage retrieval is an important task that assists legal practitioners in the time-intensive process of finding relevant precedents to support legal arguments. This study investigates the task of retrieving legal passages or paragraphs from decisions of the Court of Justice of the European Union (CJEU), whose language is highly structured and formulaic, leading to repetitive patterns. Understanding when lexical or semantic models are more effective at handling the repetitive nature of legal language is key to developing retrieval systems that are more accurate, efficient, and transparent for specific legal domains. To this end, we explore when this routinized legal language is better suited for retrieval using methods that rely on lexical and statistical features, such as BM25, or dense retrieval models trained to capture semantic and contextual information. A qualitative and quantitative analysis with three complementary metrics shows that both lexical and dense models perform well in scenarios with more repetitive usage of language, whereas BM25 performs better than the dense models in more nuanced scenarios where repetition and verbatim~quotes are less prevalent and in longer queries. Our experiments also show that BM25 is a strong baseline, surpassing off-the-shelf dense models in 4 out of 7 performance metrics. However, fine-tuning a dense model on domain-specific data led to improved performance, surpassing BM25 in most metrics, and we analyze the effect of the amount of data used in fine-tuning on the model's performance and temporal robustness. The code, dataset and appendix related to this work are available on: https://github.com/larimo/lexsem-legal-ir.
• Abstract（参考訳）: 法的手続きの検索は、法的議論を支援するための関連する前例を見つけるための時間集約的なプロセスにおいて、法律実務者を支援する重要なタスクである。 本研究は,欧州連合司法裁判所 (CJEU) の判断により, 言語が高度に構造化され, 定式化され, 反復的なパターンがもたらされる法的手続きや段落の回収作業について検討する。 語彙モデルや意味モデルが法的言語の反復的な性質を扱う上でより効果的である場合を理解することは、特定の法的ドメインに対してより正確で効率的で透明な検索システムを開発する上で鍵となる。 この目的のために、BM25のような語彙的・統計的特徴に依存する手法や、意味的・文脈的情報を取得するために訓練された密集した検索モデルを用いて、この規則化された法言語が検索に適しているかを考察する。 3つの相補的指標を用いた定性的・定量的分析により、語彙モデルと密解モデルの両方が言語を反復的に使用したシナリオでは良好に機能し、一方BM25は、反復と冗長のクォートがあまり普及せず、長いクエリではよりニュアンスなシナリオではより優れていることが示された。 実験の結果,BM25は7つのパフォーマンス指標のうち4つにおいて,市販の高密度モデルを上回る強力なベースラインであることが判明した。 しかし、ドメイン固有データに対する微調整により性能が向上し、ほとんどの指標ではBM25を上回り、微調整に使用するデータ量がモデルの性能と時間的堅牢性に与える影響を解析した。 この作業に関連するコード、データセット、付録は、https://github.com/larimo/lexsem-legal-ir.comにある。

関連論文リスト

• Optimizing Multi-Stage Language Models for Effective Text Retrieval [0.0]
  本稿では,日本語の法的データセットに最適化された2相テキスト検索パイプラインを提案する。 提案手法は,高度な言語モデルを用いて最先端の性能を実現する。 堅牢性と適応性をさらに向上するため,複数の検索戦略を統合するアンサンブルモデルを組み込んだ。
  論文  参考訳（メタデータ） (2024-12-26T16:05:19Z)
• Exploiting LLMs' Reasoning Capability to Infer Implicit Concepts in Legal Information Retrieval [6.952344923975001]
  本研究は,大規模言語モデル(LLM)の論理的推論能力を活用し,関連する法的用語を特定することに焦点を当てる。 提案する検索システムは,検索精度を向上させるために,用語ベースの拡張とクエリ再構成の付加情報を統合する。 COLIEE 2022とCOLIEE 2023データセットの実験は、LLMからの余分な知識が語彙的および意味的ランキングモデルの検索結果の改善に役立つことを示している。
  論文  参考訳（メタデータ） (2024-10-16T01:34:14Z)
• Large Language Models for Judicial Entity Extraction: A Comparative Study [0.0]
  本研究では,事例法文書におけるドメイン固有エンティティの同定における大規模言語モデルの適用について検討する。 この研究は、Large Language Model Meta AI 3、Mistral、Gemmaを含む最先端のLarge Language Modelアーキテクチャの性能を評価する。
  論文  参考訳（メタデータ） (2024-07-08T09:49:03Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• DELTA: Pre-train a Discriminative Encoder for Legal Case Retrieval via Structural Word Alignment [55.91429725404988]
  判例検索のための識別モデルであるDELTAを紹介する。 我々は浅層デコーダを利用して情報ボトルネックを作り、表現能力の向上を目指しています。 本手法は, 判例検索において, 既存の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2024-03-27T10:40:14Z)
• Leveraging Large Language Models for Relevance Judgments in Legal Case Retrieval [16.29803062332164]
  本稿では,大規模言語モデルによる専門家による関連判断の生成を支援する,数ショットのアプローチを提案する。 提案手法は,人間のアノテータのワークフローを模倣して,判断過程をいくつかの段階に分解する。 また、解釈可能なデータラベリングを保証し、関連性評価プロセスにおける透明性と明確性を提供します。
  論文  参考訳（メタデータ） (2024-03-27T09:46:56Z)
• Making Retrieval-Augmented Language Models Robust to Irrelevant Context [55.564789967211844]
  ALMの重要なデシプラタムは、検索された情報が関連する場合のパフォーマンスをモデル化するのに役立つことである。 近年の研究では、検索の増大がパフォーマンスに悪影響を及ぼすことが示されている。
  論文  参考訳（メタデータ） (2023-10-02T18:52:35Z)
• Attentive Deep Neural Networks for Legal Document Retrieval [2.4350217735794337]
  法令文書検索における注意型ニューラルネットワークを用いたテキスト表現法について検討した。 長い文や記事を表すために,2つの階層型アーキテクチャを開発し,それをAttentive CNN と Paraformer と命名する。 実験結果から,知覚的ニューラル法は,データセットや言語間での検索性能において,非神経的手法を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2022-12-13T01:37:27Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。