論文の概要: IndicIPR-QA: A Benchmark for Extractive Question Answering on Indian IPR Laws
- arxiv url: http://arxiv.org/abs/2610.40518v1
- Date: Thu, 29 Oct 2026 17:26:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 06:50:02.680359
- Title: IndicIPR-QA: A Benchmark for Extractive Question Answering on Indian IPR Laws
- Title（参考訳）: IndicIPR-QA:インドのITP法に関する抽出的質問応答のベンチマーク
- Abstract要約: IndicIPR-QA1はインド知的財産権法(IPR)の抽出QAベンチマークである。
提案したデータセットは、7つの法律にまたがる1,116の法定文脈から4,462のQAペアを含んでいる。
BM25はトークンレベルのF1スコアが20.21、微調整のInLegalBERTは85.02に達する。
- 参考スコア（独自算出の注目度）: 5.915633148484684
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Legal Question Answering (QA) over statutory texts is a challenging task in Natural Language Processing (NLP), especially in low-resource settings with complex legal systems. It requires answers that are precise and grounded in the law. However, to the best of current knowledge, no existing extractive QA benchmark provides exact answer spans from statutory texts across all seven Indian Intellectual Property Rights (IPR) Acts. This paper presents IndicIPR-QA1, an extractive QA benchmark for Indian IPR laws. The proposed dataset contains 4,462 QA pairs from 1,116 statutory contexts across seven Acts. Questions and answers are generated using GPT-4o and validated through nine automatic quality checks, single and multi-model LLM evaluations, and a 200-pair human audit. Section-level partitioning prevents source-context overlap across the training, validation, and test sets. Further analysis examines answer span length, lexical overlap, and multi-clause structure across the corpus and individual Acts. BM25 achieves a token-level F1 score of 20.21, while fine-tuned InLegalBERT reaches 85.02 under a unified sliding-window inference protocol. The large performance gap between BM25 (20.21 F1) and InLegalBERT (85.02 F1) shows that simple word matching is not enough to answer these legal questions. Performance also varies across the seven Acts, indicating substantial differences in answer-extraction performance.
- Abstract（参考訳）: 法律テキストに対する法的質問回答(QA)は自然言語処理(NLP)において特に複雑な法体系を持つ低リソース環境において難しい課題である。
正確で、法に根ざした答えが必要です。
しかしながら、現在の知識を最大限に活用するために、既存のQAベンチマークでは、インド知的所有権法(IPR)の7つの法律にまたがる正確な回答は提供されていない。
IndicIPR-QA1はインド IPR 法則の抽出QAベンチマークである。
提案したデータセットは、7つの法律にまたがる1,116の法定文脈から4,462のQAペアを含んでいる。
GPT-4oを用いて質問や回答を生成し,9つの自動品質チェック,シングルモデルおよびマルチモデルLCM評価,200対の人間監査を通じて検証する。
セクションレベルのパーティショニングは、トレーニング、検証、テストセット間のソースコンテキストのオーバーラップを防止する。
さらに, コーパスと個別法をまたいだ回答幅長, 語彙重なり, 複数句構造について検討した。
BM25はトークンレベルのF1スコアが20.21、微調整のInLegalBERTは85.02に達する。
BM25 (20.21 F1) と InLegalBERT (85.02 F1) の間の大きなパフォーマンスギャップは、単純な単語マッチングがこれらの法的質問に答えるには不十分であることを示している。
また、パフォーマンスは7つの法律によって異なり、回答抽出のパフォーマンスにかなりの違いがあることを示している。
関連論文リスト
- UAE GovTrust Scope Filtering Gains and Routing Failures in Bilingual Public Service Retrieval [51.56484100374058]
UAE GovTrustは、22のサービスサマリーと、110のクエリ変異を持つ50のシナリオからなる英語とアラビア語の検索診断である。
72の一致した応答可能なクエリとバイリンガルなエビデンスでは、ロールフィルタされた逆階融合が69のクエリ(95.8%)に対して関連する最初の結果を取得する。
この研究は、生成された回答や法的正当性ではなく、検索とルーティングを評価し、独立したアラビア語とドメインの検証は依然として必要である。
論文 参考訳（メタデータ） (2026-10-23T13:30:58Z) - AILQA: Evaluating AI-Driven Legal Question Answering Systems for the Indian Legal System [11.383388187292674]
本研究は,インド法コンテキストに合わせて,高度なAI for Indian Legal Question Answering (AILQA)システムを提案する。
AILQAは、最近のLarge Language Models (LLMs)を含む、様々な埋め込みおよび生成モデルを活用する。
専門的な法的フィードバックに富んだ語彙的指標と意味的指標を用いて厳密な評価を行い,妥当性と正確性を確保した。
論文 参考訳（メタデータ） (2026-07-21T08:01:17Z) - Cross-Architecture LLM Ensembles, Feature-Based Reranking and Retrieval-Augmented Prompting for Legal Information Processing [7.028604573959654]
我々は,チームDUがCOLIEE 2026の5つのタスクすべてに参加することを報告した。
我々は, 判例検索, 判例検索, 法令検索, 判例検索, 判例判断予測にオープンウェイトシステムを使用する。
論文 参考訳（メタデータ） (2026-07-13T11:07:57Z) - Decompose-and-Refine: Structured Legal Question Answering with Parametric Retrieval [12.468513292139695]
大規模言語モデル (LLM) は法的領域において高い性能を示し、LQA (Lawal Question Answering) において顕著な可能性を示している。
法定LQAでは、多くの疑問が複数の法的問題にまたがってマルチホップ推論を必要としており、法定条項の正確な検索が重要な前提条件となっている。
本稿では,段階的質問分解とパラメトリックな知識に基づくクエリ改善を緊密に統合する法定グラウンドのLQAフレームワークであるDecompose-and-Refine(DaR)を提案する。
論文 参考訳（メタデータ） (2026-05-23T08:03:31Z) - KoBLEX: Open Legal Question Answering with Multi-hop Reasoning [12.122913185860634]
韓国法定説明可能QA(KoBLEX)ベンチマークについて紹介する。
KoBLEXは、プロビジョニングされたマルチホップの法的推論を評価するように設計されている。
ParSeR (Parametric provision-guided Selection Retrieval) という手法も提案する。
論文 参考訳（メタデータ） (2025-09-01T10:07:00Z) - LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。
このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。
この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
論文 参考訳（メタデータ） (2025-05-19T08:48:12Z) - LegalSeg: Unlocking the Structure of Indian Legal Judgments Through Rhetorical Role Classification [6.549338652948716]
7000以上の文書と140万の文で構成され、7つの修辞的な役割をラベル付けした、このタスクのための最大の注釈付きデータセットであるLegalSegを紹介します。
以上の結果から,より広義の文脈,構造的関係,逐次的な文情報を含むモデルが,文レベルの特徴にのみ依存するモデルよりも優れていることが示された。
論文 参考訳（メタデータ） (2025-02-09T10:07:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。