論文の概要: JurisTCU: A Brazilian Portuguese Information Retrieval Dataset with Query Relevance Judgments

• arxiv url: http://arxiv.org/abs/2503.08379v1
• Date: Tue, 11 Mar 2025 12:39:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:44:50.433037
• Title: JurisTCU: A Brazilian Portuguese Information Retrieval Dataset with Query Relevance Judgments
• Title（参考訳）: JurisTCU: クエリ関連判断を備えたブラジルのポルトガル語情報検索データセット
• Authors: Leandro Carísio Fernandes, Leandro dos Santos Ribeiro, Marcos Vinícius Borela de Castro, Leonardo Augusto da Silva Pacheco, Edans Flávius de Oliveira Sandes,
• Abstract要約: 本稿では,ブラジルの法律情報検索データセットJurisTCUを紹介する。 このデータセットは、ブラジル連邦会計裁判所の16,045件の法学文書と、関連判断を注釈した150件のクエリで構成されている。 文書拡張手法は,このデータセット上での標準BM25検索の性能を著しく向上させることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper introduces JurisTCU, a Brazilian Portuguese dataset for legal information retrieval (LIR). The dataset is freely available and consists of 16,045 jurisprudential documents from the Brazilian Federal Court of Accounts, along with 150 queries annotated with relevance judgments. It addresses the scarcity of Portuguese-language LIR datasets with query relevance annotations. The queries are organized into three groups: real user keyword-based queries, synthetic keyword-based queries, and synthetic question-based queries. Relevance judgments were produced through a hybrid approach combining LLM-based scoring with expert domain validation. We used JurisTCU in 14 experiments using lexical search (document expansion methods) and semantic search (BERT-based and OpenAI embeddings). We show that the document expansion methods significantly improve the performance of standard BM25 search on this dataset, with improvements exceeding 45% in P@10, R@10, and nDCG@10 metrics when evaluating short keyword-based queries. Among the embedding models, the OpenAI models produced the best results, with improvements of approximately 70% in P@10, R@10, and nDCG@10 metrics for short keyword-based queries, suggesting that these dense embeddings capture semantic relationships in this domain, surpassing the reliance on lexical terms. Besides offering a dataset for the Portuguese-language IR research community, suitable for evaluating search systems, the results also contribute to enhancing a search system highly relevant to Brazilian citizens.
• Abstract（参考訳）: 本稿では,ブラジルの法律情報検索用データセットJurisTCUを紹介する。 データセットは無償で利用可能であり、ブラジル連邦会計裁判所から16,045件の法学文書と、関連判断を付した150のクエリで構成されている。 クエリ関連アノテーションによるポルトガル語のLIRデータセットの不足に対処する。 クエリは、実際のユーザキーワードベースのクエリ、合成キーワードベースのクエリ、および合成質問ベースのクエリの3つのグループに分けられる。 LLMに基づくスコアリングとエキスパートドメイン検証を組み合わせたハイブリッドアプローチにより妥当性判定を行った。 JurisTCUを語彙探索(文書展開法)と意味探索(BERTおよびOpenAI埋め込み)を用いて14の実験で使用した。 文書拡張手法は,P@10,R@10,nDCG@10の45%を超え,短いキーワードベースのクエリを評価する際に,標準BM25検索の性能を著しく向上させることを示した。 埋め込みモデルの中で、OpenAIモデルは最高の結果を生み出し、短いキーワードベースのクエリに対するP@10、R@10、nDCG@10のメトリクスが約70%改善された。 ポルトガル語のIR研究コミュニティ向けにデータセットを提供し、検索システムの評価に適しており、ブラジル市民に高い関係を持つ検索システムの強化にも貢献している。

関連論文リスト

• Data Fusion of Synthetic Query Variants With Generative Large Language Models [1.864807003137943]
  本研究は,データ融合実験において,命令調整型大規模言語モデルによって生成される合成クエリ変種を用いることの実現可能性について検討する。 我々は、プロンプトとデータ融合の原則を生かした、軽量で教師なしで費用効率のよいアプローチを導入します。 解析の結果,合成クエリの変種に基づくデータ融合は,単一クエリのベースラインよりもはるかに優れており,擬似関連フィードバック手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-11-06T12:54:27Z)
• Knowledge-Aware Query Expansion with Large Language Models for Textual and Relational Retrieval [49.42043077545341]
  知識グラフ(KG)から構造化文書関係を付加したLLMを拡張した知識対応クエリ拡張フレームワークを提案する。 文書テキストをリッチなKGノード表現として活用し、KAR(Knowledge-Aware Retrieval)のための文書ベースの関係フィルタリングを利用する。
  論文  参考訳（メタデータ） (2024-10-17T17:03:23Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  多くの複雑な実世界のクエリは、関連する文書を特定するために詳細な推論を必要とする。 BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
  テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。 本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。 多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-04-19T22:54:54Z)
• DORIS-MAE: Scientific Document Retrieval using Multi-level Aspect-based Queries [2.4816250611120547]
  マルチレベルAspect-based queries (DORIS-MAE) を用いた科学的文書検索手法を提案する。 複雑な問合せごとに100の関連文書を集め、それらのランキングに注釈付きの関連スコアを生成した。 Anno-GPTは、専門家レベルのデータセットアノテーションタスクにおいて、LLM(Large Language Models)のパフォーマンスを検証するためのフレームワークである。
  論文  参考訳（メタデータ） (2023-10-07T03:25:06Z)
• Evaluating Embedding APIs for Information Retrieval [51.24236853841468]
  ドメインの一般化と多言語検索における既存のセマンティック埋め込みAPIの機能を評価する。 BM25の結果をAPIを使って再ランク付けすることは、予算に優しいアプローチであり、英語でもっとも効果的である。 非英語検索では、再ランク付けは結果を改善するが、BM25のハイブリッドモデルは高いコストで機能する。
  論文  参考訳（メタデータ） (2023-05-10T16:40:52Z)
• Query2doc: Query Expansion with Large Language Models [69.9707552694766]
  提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。 query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。 また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
  論文  参考訳（メタデータ） (2023-03-14T07:27:30Z)
• Query Expansion Using Contextual Clue Sampling with Language Models [69.51976926838232]
  本稿では,実効的なフィルタリング戦略と検索した文書の融合の組み合わせを,各文脈の生成確率に基づいて提案する。 我々の語彙マッチングに基づくアプローチは、よく確立された高密度検索モデルDPRと比較して、同様のトップ5/トップ20検索精度と上位100検索精度を実現する。 エンド・ツー・エンドのQAでは、読者モデルも我々の手法の恩恵を受けており、いくつかの競争基準に対してエクサクト・マッチのスコアが最も高い。
  論文  参考訳（メタデータ） (2022-10-13T15:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。