論文の概要: CRAwLeR -- Cross-Reference Aware Legal Retrieval
- arxiv url: http://arxiv.org/abs/2606.21676v1
- Date: Fri, 19 Jun 2026 18:32:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 04:04:40.864731
- Title: CRAwLeR -- Cross-Reference Aware Legal Retrieval
- Title(参考訳): CRAwLeR -- 相互参照を意識した法的検索
- Authors: Maciej Jalocha, William Michelsen,
- Abstract要約: コンテキスト対応のチャンク検索のための既存のベンチマークは、再利用されたタスクアイテムに大きく依存している。
我々は、特定の種類の文脈依存、法的相互参照に焦点を当て、CRAwLeRを導入します。
我々のパイプラインは、法的相互参照を検出し、クエリ候補を特定し、ターゲットチャンクを関連するコンテキストにリンクし、コンテキスト要求クエリを生成する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing benchmarks for context-aware chunk retrieval rely heavily on repurposed task items and rarely demonstrate that their queries genuinely require context, making score interpretation difficult. We focus on a specific kind of context dependence, legal cross-references, and introduce CRAwLeR, an operationalization of a narrow, well-defined phenomenon: cross-reference-aware context utilization for chunk retrieval in legal documents. Our pipeline detects legal cross-references, identifies query candidates, links target chunks to their relevant context, generates context-demanding queries with an LLM, and filters them through both an adversarial non-contextual baseline and an assurance prompt. We release CRAwLeR-DK and CRAwLeR-PL, Danish and Polish datasets built with this pipeline, alongside a strong Anthropic-style contextualization baseline. Manual analysis finds that approximately 80% of randomly sampled queries genuinely target the labelled target chunk and require context, with failures following systematic and named patterns. The benchmarks are hard but not solved: best Recall@10 reaches 55% on CRAwLeR-DK and 59% on CRAwLeR-PL. Ablation and failure analysis attribute the remaining gap to the contextualising LLM, not the retriever. Even when the target is retrieved in the top ten, labelled context chunks routinely outrank it. We are the first dataset for context-aware chunk retrieval to carefully consider construct validity and inspect our results in the light of such a narrow, well-defined phenomenon.
- Abstract(参考訳): 既存の文脈対応チャンク検索のベンチマークは、再利用されたタスク項目に大きく依存しており、クエリが実際にコンテキストを必要とすることを示すことは滅多になく、スコアの解釈を困難にしている。
我々は、特定の種類のコンテキスト依存、法的相互参照、および狭義の明確に定義された現象の運用化であるCRAwLeRの導入に焦点をあてる。
我々のパイプラインは、法的相互参照を検出し、クエリ候補を特定し、ターゲットチャンクを関連するコンテキストにリンクし、LLMでコンテキスト要求クエリを生成し、敵の非コンテキストベースラインと保証プロンプトの両方を通してフィルタリングする。
我々は、このパイプラインで構築されたデンマークとポーランドのデータセットであるCRAwLeR-DKとCRAwLeR-PLを、強力なArthhropicスタイルのコンテキスト化ベースラインとともにリリースする。
手動分析では、ランダムにサンプリングされたクエリの約80%が、ラベル付けされたターゲットチャンクを真にターゲットとし、コンテキストを必要とする。
Best Recall@10はCRAwLeR-DKで55%、CRAwLeR-PLで59%に達する。
アブレーションと故障解析は、残りのギャップが検索者ではなく文脈的LLMに起因している。
ターゲットがトップ10で検索されたとしても、ラベル付きコンテキストチャンクは日常的にそれを上回る。
我々はコンテキスト対応のチャンク検索のための最初のデータセットであり、構築の妥当性を慎重に検討し、そのような狭く明確に定義された現象に照らして結果を検査する。
関連論文リスト
- Hybrid Pooling with LLMs via Relevance Context Learning [5.10348690267577]
情報検索(IR)システムを評価するためには,大規模クエリセットに対する高品質な妥当性判定が不可欠である。
LLMは、最近、自動妥当性評価器として約束されているが、信頼性はまだ限られている。
関連文脈学習(Relevance Context Learning, RCL)は、人間の関連性判断を利用して、トピック固有の関連基準を明示的にモデル化する新しいフレームワークである。
論文 参考訳(メタデータ) (2026-02-09T10:10:22Z) - Query-Document Dense Vectors for LLM Relevance Judgment Bias Analysis [4.719505127252616]
大規模言語モデル (LLM) は、情報検索 (IR) 評価収集のための関連評価器として使われている。
我々は、LLMが平均的にどれだけ良いかを単に理解するのではなく、関係を判断する際に体系的な誤りを犯すかどうかを理解することを目的としている。
クエリドキュメント(Q-D)ペアを結合意味空間に埋め込むクラスタリングベースのフレームワークを導入する。
論文 参考訳(メタデータ) (2026-01-05T03:02:33Z) - LLM-guided Hierarchical Retrieval [54.73080745446999]
LATTICEは階層的な検索フレームワークであり、LLMは対数探索の複雑さで大きなコーパスを推論し、ナビゲートすることができる。
LLM誘導探索における中心的な課題は、モデルの関連性判断がノイズが多く、文脈に依存し、階層性に気付かないことである。
我々のフレームワークは、推論集約型BRIGHTベンチマークで最先端のゼロショット性能を実現する。
論文 参考訳(メタデータ) (2025-10-15T07:05:17Z) - ImpliRet: Benchmarking the Implicit Fact Retrieval Challenge [50.93758649363798]
Impliretは、推論の課題をドキュメント側処理にシフトするベンチマークである。
我々は,この環境下で苦戦している,疎水・密集したレトリバーの幅を評価した。
論文 参考訳(メタデータ) (2025-06-17T11:08:29Z) - SAGE: A Framework of Precise Retrieval for RAG [9.889395372896153]
Retrieval-augmented Generation (RAG) は,質問応答タスクの遂行に有意義な能力を示した。
RAGメソッドはセマンティクスを考慮せずにコーパスをセグメントし、関連するコンテキストを見つけるのが困難になる。
これらの制限を克服するために、RAGフレームワーク(SAGE)を導入します。
論文 参考訳(メタデータ) (2025-03-03T16:25:58Z) - BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。
私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
論文 参考訳(メタデータ) (2024-07-16T17:58:27Z) - Cross-lingual Contextualized Phrase Retrieval [63.80154430930898]
そこで本研究では,言語間関係の単語検索を多義的に行うタスクの定式化を提案する。
我々は、コントラスト学習を用いて、言語間コンテクスト対応句検索(CCPR)を訓練する。
フレーズ検索タスクでは、CCPRはベースラインをかなり上回り、少なくとも13ポイント高いトップ1の精度を達成する。
論文 参考訳(メタデータ) (2024-03-25T14:46:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。