論文の概要: GreekBarRetrieval: A Benchmark for Greek Statutory Retrieval
- arxiv url: http://arxiv.org/abs/2608.18752v2
- Date: Thu, 20 Aug 2026 07:09:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 14:00:35.580752
- Title: GreekBarRetrieval: A Benchmark for Greek Statutory Retrieval
- Title（参考訳）: GreekBarRetrieval: ギリシャ統計検索のベンチマーク
- Abstract要約: 法定検索は引用に基づく法定質問応答に必要だが、ギリシャ語では未定である。
GreekBarBenchを補完する公開検索ベンチマークである GreekBarRetrieval を紹介する。
新しいベンチマークは283のバー・エグザムの質問と、6,308の候補者法定記事から抽出する。
- 参考スコア（独自算出の注目度）: 6.988337168779182
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Statutory retrieval is necessary for citation-grounded legal question answering, but remains underexplored for Greek. We introduce GreekBarRetrieval, a public retrieval benchmark derived from, and complementing GreekBarBench, which did not include retrieval. The new benchmark comprises 283 bar-exam questions, each accompanied by the facts of the case it refers to, and 6,308 candidate statutory articles to retrieve from. Questions and facts are stated in everyday language, but need to be mapped to the formal terminology of statutes and their abstract legal concepts. A further complication is that not all of the case facts are relevant to each question of a case. Experimenting with three BM25 variants and nine dense retrievers, we find that vanilla dense retrieval far outperforms vanilla sparse retrieval in Recall@100. However, LLM-based query reformulation helps BM25 close that gap, while also improving dense retrieval. With a ten-round ReAct-like LLM reformulation loop that we introduce, BM25 improves further in Recall@100 and obtains the best nDCG and MAP scores of all tested retrievers. Query reformulation also outperforms pseudo-relevance feedback, sparse-dense fusion, and English translation.
- Abstract（参考訳）: 法定検索は引用に基づく法定質問応答に必要だが、ギリシャ語では未定である。
GreekBarBenchを補完する公開検索ベンチマークである GreekBarRetrieval を導入し,検索を含まない。
新しいベンチマークは283のバー・エグザムの質問と、6,308の候補者法定記事から抽出する。
質問や事実は日常言語で述べられているが、法律の形式的用語とその抽象的な法的概念にマッピングする必要がある。
さらに複雑なことは、すべての事件事実が事件の各問題に関係しているわけではないということである。
3つのBM25変種と9つの高密度検索器を用いて実験したところ、バニラ密度検索はRecall@100においてバニラスパース検索をはるかに上回っていることがわかった。
しかし、LLMベースのクエリ再構成により、BM25はそのギャップを埋めると同時に、密集した検索を改善することができる。
BM25は10ラウンドのReActライクなLLM再構成ループを導入し,Recall@100でさらに改善し,テスト対象の検索者全員の最高のnDCGとMAPスコアを得る。
クエリ再構成は、擬似関連フィードバック、スパース・デンス融合、英語翻訳よりも優れている。
関連論文リスト
- A Comparative Evaluation of Embeddings and LLMs in a Greek Book Publisher Setting - The CUP Dataset [0.6201364126398703]
CUPは,868のカタログレコードと104のエキスパートアノテートクエリからなる,ギリシャの書籍検索ベンチマークである。
本書検索では,スパース (BM25), 密度 (文変換器), ハイブリッド, LLM を用いた検索手法について検討した。
論文 参考訳（メタデータ） (2026-07-23T12:51:55Z) - STORM: Stepwise Token Optimization with Reward-Guided Beam Search [26.876242989882787]
STORM(Stepwise Token Optimization with Reward-guided beaM search)は、語彙クエリ拡張のための自己教師型フレームワークである。
0.6B-8Bのバックボーンは競争力のあるLLMリライト機に匹敵するが、BM25と同じ速さで回収できる。
さらに、ゼロショットを18言語(MIRACL)に転送し、多言語密集レトリバーを平均で打ち負かす。
論文 参考訳（メタデータ） (2026-06-09T09:18:09Z) - SAGE: Benchmarking and Improving Retrieval for Deep Research Agents [60.53966065867568]
SAGEは4つの科学領域にわたる1200のクエリからなる科学文献検索のためのベンチマークであり、20万の論文検索コーパスを備える。
6つのディープ・リサーチ・エージェントを評価し,全てのシステムが推論集約的な検索に苦しむことを発見した。
BM25は、既存のエージェントがキーワード指向のサブクエリを生成するため、LLMベースのレトリバーを約30%上回っている。
論文 参考訳（メタデータ） (2026-02-05T18:25:24Z) - Lighting the Way for BRIGHT: Reproducible Baselines with Anserini, Pyserini, and RankLLM [44.67715098747863]
BRIGHTベンチマークは、さまざまなドメインに対する推論集約的なクエリからなるデータセットである。
本稿では,大規模言語モデルを用いたリストワイズ・リランクを適用し,推論集約的なクエリに対するリランクの影響をさらに調査する。
これらのベースラインは、一般的な検索とツールキットであるAnserini、Pyserini、RanLLMに組み込まれている。
論文 参考訳（メタデータ） (2025-09-02T17:53:57Z) - ImpliRet: Benchmarking the Implicit Fact Retrieval Challenge [50.93758649363798]
Impliretは、推論の課題をドキュメント側処理にシフトするベンチマークである。
我々は,この環境下で苦戦している,疎水・密集したレトリバーの幅を評価した。
論文 参考訳（メタデータ） (2025-06-17T11:08:29Z) - InsertRank: LLMs can reason over BM25 scores to Improve Listwise Reranking [3.1125398490785217]
InsertRankはLLMベースのリランカで、リランク中のBM25スコアなどの語彙信号を活用して、検索性能をさらに向上する。
Deepseek-R1では、InsertRankはBRIGHTベンチマークで37.5点、R2MEDベンチマークで51.1点を獲得し、以前の手法を上回りました。
論文 参考訳（メタデータ） (2025-06-17T01:04:45Z) - Exploiting LLMs' Reasoning Capability to Infer Implicit Concepts in Legal Information Retrieval [6.952344923975001]
本研究は,大規模言語モデル(LLM)の論理的推論能力を活用し,関連する法的用語を特定することに焦点を当てる。
提案する検索システムは,検索精度を向上させるために,用語ベースの拡張とクエリ再構成の付加情報を統合する。
COLIEE 2022とCOLIEE 2023データセットの実験は、LLMからの余分な知識が語彙的および意味的ランキングモデルの検索結果の改善に役立つことを示している。
論文 参考訳（メタデータ） (2024-10-16T01:34:14Z) - BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。
私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
論文 参考訳（メタデータ） (2024-07-16T17:58:27Z) - Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。
我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
論文 参考訳（メタデータ） (2023-04-27T14:45:55Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳（メタデータ） (2022-05-23T11:01:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。