論文の概要: JUÁ -- A Benchmark for Information Retrieval in Brazilian Legal Text Collections
- arxiv url: http://arxiv.org/abs/2604.06098v2
- Date: Wed, 08 Apr 2026 11:14:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-09 14:06:05.172494
- Title: JUÁ -- A Benchmark for Information Retrieval in Brazilian Legal Text Collections
- Title（参考訳）: ブラジルの法律文書コレクションにおける情報検索のためのベンチマーク
- Authors: Jayr Pereira, Leandro Fernandes, Erick de Brito, Roberto Lotufo, Luiz Bonifacio,
- Abstract要約: ポルトガル語の法的な情報検索は、利用可能なデータセットが文書タイプ、クエリスタイル、関連性定義で大きく異なるため、体系的に評価することが依然として困難である。
我々はブラジルの法定検索のための公開ベンチマークであるJUを、異種法定コレクション間でより再現性が高く、同等の評価をサポートするように設計された。
- 参考スコア（独自算出の注目度）: 3.6360100966162787
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Legal information retrieval in Portuguese remains difficult to evaluate systematically because available datasets differ widely in document type, query style, and relevance definition. We present JUÁ, a public benchmark for Brazilian legal retrieval designed to support more reproducible and comparable evaluation across heterogeneous legal collections. More broadly, JUÁ is intended not only as a benchmark, but as a continuous evaluation infrastructure for Brazilian legal IR, combining shared protocols, common ranking metrics, fixed splits when applicable, and a public leaderboard. The benchmark covers jurisprudence retrieval as well as broader legislative, regulatory, and question-driven legal search. We evaluate lexical, dense, and BM25-based reranking pipelines, including a domain-adapted Qwen embedding model fine-tuned on JUÁ-aligned supervision. Results show that the benchmark is sufficiently heterogeneous to distinguish retrieval paradigms and reveal substantial cross-dataset trade-offs. Domain adaptation yields its clearest gains on the supervision-aligned JUÁ-Juris subset, while BM25 remains highly competitive on other collections, especially in settings with strong lexical and institutional phrasing cues. Overall, JUÁ provides a practical evaluation framework for studying legal retrieval across multiple Brazilian legal domains under a common benchmark design.
- Abstract（参考訳）: ポルトガル語の法的な情報検索は、利用可能なデータセットが文書タイプ、クエリスタイル、関連性定義で大きく異なるため、体系的に評価することが依然として困難である。
ブラジルの法定検索のための公開ベンチマークであるJUUは、異種法定コレクション間でより再現性が高く、同等の評価をサポートするように設計されている。
より広くは、JUUはベンチマークとしてだけでなく、ブラジルの法律IRの継続的な評価基盤として、共通のプロトコル、共通のランキングメトリクス、適用時に固定分割、および公開リーダボードとして意図されている。
このベンチマークは、法学的な検索だけでなく、より広範な立法、規制、および質問駆動の法的な検索もカバーしている。
ドメイン適応型Qwen埋め込みモデルを含む,語彙,密度,BM25に基づく再配置パイプラインの評価を行った。
その結果、このベンチマークは検索パラダイムを区別し、膨大なデータセット間のトレードオフを明らかにするのに十分不均一であることがわかった。
ドメイン適応は他のコレクション、特に強い語彙と制度的なフレーズを持つ設定において、BM25は高い競争力を維持している。
全体として、JUは、共通のベンチマーク設計の下で複数のブラジルの法域にわたる法的検索を研究するための実践的な評価フレームワークを提供する。
関連論文リスト
- LegalMALR:Multi-Agent Query Understanding and LLM-Based Reranking for Chinese Statute Retrieval [10.997604609194033]
法定検索は法的援助と司法決定支援に不可欠である。
現実の法的なクエリは暗黙的で、複数発行され、口語または未特定の形で表現されることが多い。
本稿では,マルチエージェントクエリ理解システムとゼロショット大文字生成モジュールを統合した検索フレームワークであるLegalMALRを提案する。
論文 参考訳（メタデータ） (2026-01-25T04:44:56Z) - Segment First, Retrieve Better: Realistic Legal Search via Rhetorical Role-Based Queries [3.552993426200889]
TraceRetrieverは、ケース情報を限定して運用することで、現実世界の法的検索を反映する。
我々のパイプラインはBM25、Vector Database、Cross-Encoderモデルを統合し、Reciprocal Rank Fusionによる最初の結果を組み合わせています。
修辞アノテーションは、インドの判断に基づいて訓練された階層的BiLSTM CRF分類器を用いて生成される。
論文 参考訳（メタデータ） (2025-08-01T14:49:33Z) - Augmented Question-guided Retrieval (AQgR) of Indian Case Law with LLM, RAG, and Structured Summaries [0.0]
本稿では,関連事例の検索を容易にするためにLarge Language Models (LLMs) を提案する。
提案手法は,Retrieval Augmented Generation (RAG) と,インドの事例法に最適化された構造化要約を組み合わせたものである。
本システムは,関連事例法をより効果的に識別するために,事実シナリオに基づく対象の法的質問を生成する。
論文 参考訳（メタデータ） (2025-07-23T05:24:44Z) - LegalSeg: Unlocking the Structure of Indian Legal Judgments Through Rhetorical Role Classification [6.549338652948716]
7000以上の文書と140万の文で構成され、7つの修辞的な役割をラベル付けした、このタスクのための最大の注釈付きデータセットであるLegalSegを紹介します。
以上の結果から,より広義の文脈,構造的関係,逐次的な文情報を含むモデルが,文レベルの特徴にのみ依存するモデルよりも優れていることが示された。
論文 参考訳（メタデータ） (2025-02-09T10:07:05Z) - JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。
我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。
さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
論文 参考訳（メタデータ） (2024-10-31T18:43:12Z) - DELTA: Pre-train a Discriminative Encoder for Legal Case Retrieval via Structural Word Alignment [55.91429725404988]
判例検索のための識別モデルであるDELTAを紹介する。
我々は浅層デコーダを利用して情報ボトルネックを作り、表現能力の向上を目指しています。
本手法は, 判例検索において, 既存の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2024-03-27T10:40:14Z) - MUSER: A Multi-View Similar Case Retrieval Dataset [65.36779942237357]
類似事例検索(SCR)は、司法公正の促進に重要な役割を果たす代表的法的AIアプリケーションである。
既存のSCRデータセットは、ケース間の類似性を判断する際にのみ、事実記述セクションにフォーカスする。
本稿では,多視点類似度測定に基づく類似事例検索データセットMと,文レベル法定要素アノテーションを用いた包括的法定要素を提案する。
論文 参考訳（メタデータ） (2023-10-24T08:17:11Z) - SAILER: Structure-aware Pre-trained Language Model for Legal Case
Retrieval [75.05173891207214]
判例検索は知的法体系において中心的な役割を果たす。
既存の言語モデルの多くは、異なる構造間の長距離依存関係を理解するのが難しい。
本稿では, LEgal ケース検索のための構造対応プレトランザクショナル言語モデルを提案する。
論文 参考訳（メタデータ） (2023-04-22T10:47:01Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳（メタデータ） (2022-05-23T11:01:59Z) - LexGLUE: A Benchmark Dataset for Legal Language Understanding in English [15.026117429782996]
我々は,多種多様なNLUタスクのモデル性能を評価するためのデータセットの集合であるLexGLUEベンチマークを紹介する。
また、複数の汎用的および法的指向モデルの評価と分析を行い、後者が複数のタスクにまたがるパフォーマンス改善を一貫して提供することを示した。
論文 参考訳（メタデータ） (2021-10-03T10:50:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。