論文の概要: CRAwLeR -- Cross-Reference Aware Legal Retrieval
- arxiv url: http://arxiv.org/abs/2606.21676v1
- Date: Fri, 19 Jun 2026 18:32:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 04:04:40.864731
- Title: CRAwLeR -- Cross-Reference Aware Legal Retrieval
- Title(参考訳): CRAwLeR -- 相互参照を意識した法的検索
- Abstract要約: コンテキスト対応のチャンク検索のための既存のベンチマークは、再利用されたタスクアイテムに大きく依存している。
我々は、特定の種類の文脈依存、法的相互参照に焦点を当て、CRAwLeRを導入します。
我々のパイプラインは、法的相互参照を検出し、クエリ候補を特定し、ターゲットチャンクを関連するコンテキストにリンクし、コンテキスト要求クエリを生成する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing benchmarks for context-aware chunk retrieval rely heavily on repurposed task items and rarely demonstrate that their queries genuinely require context, making score interpretation difficult. We focus on a specific kind of context dependence, legal cross-references, and introduce CRAwLeR, an operationalization of a narrow, well-defined phenomenon: cross-reference-aware context utilization for chunk retrieval in legal documents. Our pipeline detects legal cross-references, identifies query candidates, links target chunks to their relevant context, generates context-demanding queries with an LLM, and filters them through both an adversarial non-contextual baseline and an assurance prompt. We release CRAwLeR-DK and CRAwLeR-PL, Danish and Polish datasets built with this pipeline, alongside a strong Anthropic-style contextualization baseline. Manual analysis finds that approximately 80% of randomly sampled queries genuinely target the labelled target chunk and require context, with failures following systematic and named patterns. The benchmarks are hard but not solved: best Recall@10 reaches 55% on CRAwLeR-DK and 59% on CRAwLeR-PL. Ablation and failure analysis attribute the remaining gap to the contextualising LLM, not the retriever. Even when the target is retrieved in the top ten, labelled context chunks routinely outrank it. We are the first dataset for context-aware chunk retrieval to carefully consider construct validity and inspect our results in the light of such a narrow, well-defined phenomenon.
- Abstract(参考訳): 既存の文脈対応チャンク検索のベンチマークは、再利用されたタスク項目に大きく依存しており、クエリが実際にコンテキストを必要とすることを示すことは滅多になく、スコアの解釈を困難にしている。
我々は、特定の種類のコンテキスト依存、法的相互参照、および狭義の明確に定義された現象の運用化であるCRAwLeRの導入に焦点をあてる。
我々のパイプラインは、法的相互参照を検出し、クエリ候補を特定し、ターゲットチャンクを関連するコンテキストにリンクし、LLMでコンテキスト要求クエリを生成し、敵の非コンテキストベースラインと保証プロンプトの両方を通してフィルタリングする。
我々は、このパイプラインで構築されたデンマークとポーランドのデータセットであるCRAwLeR-DKとCRAwLeR-PLを、強力なArthhropicスタイルのコンテキスト化ベースラインとともにリリースする。
手動分析では、ランダムにサンプリングされたクエリの約80%が、ラベル付けされたターゲットチャンクを真にターゲットとし、コンテキストを必要とする。
Best Recall@10はCRAwLeR-DKで55%、CRAwLeR-PLで59%に達する。
アブレーションと故障解析は、残りのギャップが検索者ではなく文脈的LLMに起因している。
ターゲットがトップ10で検索されたとしても、ラベル付きコンテキストチャンクは日常的にそれを上回る。
我々はコンテキスト対応のチャンク検索のための最初のデータセットであり、構築の妥当性を慎重に検討し、そのような狭く明確に定義された現象に照らして結果を検査する。
関連論文リスト
- VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。
100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。
強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
論文 参考訳(メタデータ) (2026-08-18T15:23:06Z) - ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning [78.94047086588078]
長文推論のための LLM Harness として再帰的証拠を提案する。
長文推論を改善するための訓練不要推論法である。
128Kのコンテキスト長を持つ8つの長文データセットの実験は、エビデンスの利用を一貫して改善していることを示している。
論文 参考訳(メタデータ) (2026-07-02T17:59:26Z) - Hybrid Pooling with LLMs via Relevance Context Learning [5.10348690267577]
情報検索(IR)システムを評価するためには,大規模クエリセットに対する高品質な妥当性判定が不可欠である。
LLMは、最近、自動妥当性評価器として約束されているが、信頼性はまだ限られている。
関連文脈学習(Relevance Context Learning, RCL)は、人間の関連性判断を利用して、トピック固有の関連基準を明示的にモデル化する新しいフレームワークである。
論文 参考訳(メタデータ) (2026-02-09T10:10:22Z) - Completing Missing Annotation: Multi-Agent Debate for Accurate and Scalable Relevant Assessment for IR Benchmarks [31.017987800426894]
DREAMはLLMエージェントを用いた多段階の議論に基づく関連性評価フレームワークである。
95.2%の精度で、人間の3.5%しか関与していない。
BRIDGEは評価バイアスを緩和し、より公平なレトリバー比較を可能にする改良されたベンチマークである。
論文 参考訳(メタデータ) (2026-02-06T09:27:03Z) - Query-Document Dense Vectors for LLM Relevance Judgment Bias Analysis [4.719505127252616]
大規模言語モデル (LLM) は、情報検索 (IR) 評価収集のための関連評価器として使われている。
我々は、LLMが平均的にどれだけ良いかを単に理解するのではなく、関係を判断する際に体系的な誤りを犯すかどうかを理解することを目的としている。
クエリドキュメント(Q-D)ペアを結合意味空間に埋め込むクラスタリングベースのフレームワークを導入する。
論文 参考訳(メタデータ) (2026-01-05T03:02:33Z) - LLM-guided Hierarchical Retrieval [54.73080745446999]
LATTICEは階層的な検索フレームワークであり、LLMは対数探索の複雑さで大きなコーパスを推論し、ナビゲートすることができる。
LLM誘導探索における中心的な課題は、モデルの関連性判断がノイズが多く、文脈に依存し、階層性に気付かないことである。
我々のフレームワークは、推論集約型BRIGHTベンチマークで最先端のゼロショット性能を実現する。
論文 参考訳(メタデータ) (2025-10-15T07:05:17Z) - Reasoning-enhanced Query Understanding through Decomposition and Interpretation [87.56450566014625]
ReDIは、分解と解釈によるクエリ理解のための推論強化アプローチである。
我々は,大規模検索エンジンから実世界の複雑なクエリの大規模データセットをコンパイルした。
BRIGHT と BEIR の実験により、ReDI はスパースと密度の高い検索パラダイムの両方において、強いベースラインを一貫して超えることを示した。
論文 参考訳(メタデータ) (2025-09-08T10:58:42Z) - ImpliRet: Benchmarking the Implicit Fact Retrieval Challenge [50.93758649363798]
Impliretは、推論の課題をドキュメント側処理にシフトするベンチマークである。
我々は,この環境下で苦戦している,疎水・密集したレトリバーの幅を評価した。
論文 参考訳(メタデータ) (2025-06-17T11:08:29Z) - SAGE: A Framework of Precise Retrieval for RAG [9.889395372896153]
Retrieval-augmented Generation (RAG) は,質問応答タスクの遂行に有意義な能力を示した。
RAGメソッドはセマンティクスを考慮せずにコーパスをセグメントし、関連するコンテキストを見つけるのが困難になる。
これらの制限を克服するために、RAGフレームワーク(SAGE)を導入します。
論文 参考訳(メタデータ) (2025-03-03T16:25:58Z) - BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。
私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
論文 参考訳(メタデータ) (2024-07-16T17:58:27Z) - CONFLARE: CONFormal LArge language model REtrieval [0.0]
Retrieval-augmented Generation (RAG)フレームワークは、大規模言語モデル(LLM)が知識ベースから関連する情報を検索し、応答を生成するコンテキストに組み込むことを可能にする。
RAGは、検索が必要な情報を応答生成のコンテキストとして識別できない場合、有効な応答を保証しない。
本稿では,RAGフレームワークにおける検索不確実性を定量化するために,共形予測を適用するための4段階のフレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-04T02:58:21Z) - Cross-lingual Contextualized Phrase Retrieval [63.80154430930898]
そこで本研究では,言語間関係の単語検索を多義的に行うタスクの定式化を提案する。
我々は、コントラスト学習を用いて、言語間コンテクスト対応句検索(CCPR)を訓練する。
フレーズ検索タスクでは、CCPRはベースラインをかなり上回り、少なくとも13ポイント高いトップ1の精度を達成する。
論文 参考訳(メタデータ) (2024-03-25T14:46:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。