論文の概要: Annotated Surrogate Retrieval for Polish Statutory Law
- arxiv url: http://arxiv.org/abs/2608.30929v1
- Date: Mon, 31 Aug 2026 15:05:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.462788
- Title: Annotated Surrogate Retrieval for Polish Statutory Law
- Title(参考訳): ポーランド統計法における注釈付きサロゲート検索法
- Abstract要約: 本稿では,文書代理法に基づくポーランド法典の検索方法のファミリについて述べる。
ASCRはサロゲートカスケードであり、ASCR-Hはそのカスケードに密度の高いリストを融合させ、DTFは言語モデルの両方のステージを3つの語彙と密度の高いレトリバーで置き換える。
2024年と2025年のポーランドの弁護士試験と法律顧問試験の300問に対して,これら3項目について,語彙,密集度,融解度,融解度と4つの基準値とを比較検討した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a family of retrieval methods for Polish statutory law built on document surrogates: language-model annotations attached to statutory articles at index time. Three designs occupy different points on the cost-quality frontier. ASCR is a surrogate cascade with reranking; ASCR-H fuses a dense list into that cascade; and DTF replaces both language-model stages with three lexical and dense retrievers, weighted reciprocal rank fusion, and a deterministic re-scoring prior, using no model call before generation. We evaluate all three against fourteen lexical, dense, fused and ablated baselines plus four controls, on 300 questions from the 2024 and 2025 Polish bar and legal counsel entrance examinations (264 with their reference article in the corpus), over 82,508 articles from 1,133 acts. On paired McNemar tests, ASCR-H places the reference provision at rank one significantly more often than every other non-oracle configuration except one of its own ablations (eighteen of twenty comparisons significant in its favour at p < 0.005), reaching 72.3% against 61.7% for BM25 and 52.3% for dense retrieval. The advantage is concentrated at the head and does not survive depth: it is significant at cutoffs of one and five, disappears by ten, and by twenty DTF leads on point estimate (86.0% versus 84.5%) at one ninth the latency and less than half the cost. Ablation attributes 27.6 points of rank-one accuracy to the reranking stage alone. We further report that the ranking advantage does not extend to citation accuracy, where DTF matches the oracle ceiling, and three negative results on lemmatisation, pseudo-relevance feedback and query rewriting. Surrogate annotation covers 27.0% of the corpus but every reference provision in the benchmark, an asymmetry we disclose and discuss. Benchmark, per-question outputs and paired significance tests are publicly available.
- Abstract(参考訳): 本稿では,文書代理法に基づくポーランド法典の検索方法のファミリーについて述べる。
低コストのフロンティアでは、3つのデザインが異なるポイントを占めています。
ASCRはサロゲートカスケードであり、ASCR-Hはそのカスケードに密度の高いリストを融合し、DTFは2つの言語モデルステージを3つの語彙的および密度の高いレトリバー、重み付けされた相互階数融合、および決定論的再描画で置き換える。
2024年と2025年のポーランド・バーと264件のカウンセラー入試(コーパスの参考記事付き264件)と,1,133件の82,508件以上の質問に対して,これら3件について,語彙的,密集的,融解的,融解されたベースラインと4つのコントロールについて検討した。
ペアのマクネマール試験において、ASCR-Hは、基準条件を他の全ての非オーラルな構成よりもはるかに頻繁にランク付けし(p < 0.005 で 20 の比較は p < 0.005 で有意である)、BM25 では 61.7%、密度検索では 52.3% で 72.3% に達した。
アドバンテージは頭に集中しており、深さを保たず、1と5のカットオフで重要であり、10で消え、20のDTFは、9分の1のレイテンシでポイント推定(86.0%対84.5%)を導いており、コストの半分以下である。
アブレーションは、ランク1の精度が27.6ポイントである。
さらに、DTFがオラクルの天井と一致する場合の引用精度と、補修、擬似関連フィードバック、クエリ書き換えの3つの負の結果にランキングの利点が及ばないことを報告する。
サロゲートアノテーションは、コーパスの27.0%をカバーしているが、ベンチマークにおけるすべての参照条件、すなわち我々が開示し議論する非対称性をカバーしている。
ベンチマーク、クエリごとのアウトプット、ペアで重要なテストが公開されている。
関連論文リスト
- State of Thought Enables Endogenous Reasoning [48.902117018115256]
大規模言語モデル(LLM)の能力向上のための主要なアプローチとして、テスト時推論が登場した。
LLMにおける内在的推論を可能にする新しい推論パラダイムであるState of Thoughtを提案する。
SoTは平均ベースライン精度を一貫して改善し,生成トークンを62.6%,エンドツーエンドのレイテンシを44.6%削減した。
論文 参考訳(メタデータ) (2026-09-13T05:55:03Z) - From Interpretability to Control: Insights from Six Years of the TrustNLP Workshop [63.00693129203923]
The Workshop on Trustworthy Natural Language Processingは8つの論文から6つのエディションで41に成長した。
我々は、144の手続き書類から洞察を合成し、確立されたフレームワークに根ざした6つの信頼次元に沿ってそれらを分類する。
分類研究による分析によると、真理は最も成長の早い次元である(2021-2022年、2025-2026年までに論文の37%を占める)。
論文 参考訳(メタデータ) (2026-08-11T17:30:16Z) - Temporal Misgrounding in Legal RAG: A Versioned-Corpus Benchmark for French Tax Law [0.0]
我々は,現在施行中の法律記事の体系的検索と引用という,時間的誤動作を特定し,定量化する。
われわれはFiscalQA Proを導入し、フランスの税法典の32,436項目のコーパスと、すべてモデルに固執した時間的推論トラックを組み合わせている。
オラクルなしのマルチバージョンインデックス上のエンドツーエンドレトリバーは、98.3%という厳密な値に達した。
論文 参考訳(メタデータ) (2026-08-10T10:20:13Z) - Knowledge Index of Noah's Ark [63.143852586221534]
KINAは,261分野にわたる899項目のベンチマークである。
ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。
トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
論文 参考訳(メタデータ) (2026-06-03T17:06:49Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳(メタデータ) (2026-06-02T07:01:33Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳(メタデータ) (2026-05-17T07:08:14Z) - Tokenizer Fertility and Zero-Shot Performance of Foundation Models on Ukrainian Legal Text: A Comparative Study [0.0]
トケナイザーの出生率は、ウクライナの法文に基づく基礎モデルの1.6倍である。
Qwen 3モデルは同一入力上のLlamaファミリーモデルよりも60%多くトークンを消費する。
パフォーマンスは最大26ポイント低下する。
論文 参考訳(メタデータ) (2026-05-14T14:35:05Z) - Swiss-Bench SBP-002: A Frontier Model Comparison on Swiss Legal and Regulatory Tasks [0.0]
既存のベンチマークでは、適用されたスイスの規制タスクにおけるフロンティアモデルのパフォーマンスを評価していない。
スイス・ベンチ(Swiss-Bench)は、スイスの3つの規制ドメインにまたがる395のエキスパート工芸品のトリンガルベンチマークである。
私は、構造化された3次元スコアリングフレームワークを使用して、2026年3月からの10つのフロンティアモデルを評価します。
論文 参考訳(メタデータ) (2026-03-24T18:41:07Z) - CORE: Comprehensive Ontological Relation Evaluation for Large Language Models [0.9668495520241466]
大規模言語モデル(LLM)は多くの推論ベンチマークでよく機能するが、既存の評価では意味のある意味的関係と真の非関連性を区別する能力を評価することは滅多にない。
74の分野にまたがる225万質問のデータセットであるCORE(Comprehensive Ontological Relation Evaluation, 総合オントロジー関係評価)を紹介する。
1000人以上の参加者のヒトのベースラインは92.6%の精度(関係のないペアの95.1%)を達成する
論文 参考訳(メタデータ) (2026-02-06T07:16:33Z) - An Auditable Pipeline for Fuzzy Full-Text Screening in Systematic Reviews: Integrating Contrastive Semantic Highlighting and LLM Judgment [0.0]
フルテキストのスクリーニングは、体系的なレビューの大きなボトルネックです。
私たちは、ファジィな決定問題として包摂/排除を再設計する、スケーラブルで監査可能なパイプラインを提示します。
論文 参考訳(メタデータ) (2025-08-17T17:41:50Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳(メタデータ) (2025-03-06T15:36:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。