論文の概要: RegExtract: A Benchmark for PFAS Regulatory Information Extraction with LLMs
- arxiv url: http://arxiv.org/abs/2610.15103v1
- Date: Sat, 10 Oct 2026 18:26:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 02:33:28.309001
- Title: RegExtract: A Benchmark for PFAS Regulatory Information Extraction with LLMs
- Title(参考訳): RegExtract: LLMを用いたPFAS規制情報抽出ベンチマーク
- Abstract要約: RegExtractは、PFAS規制文書から構造化された情報抽出のベンチマークである。
この研究は、有害物質識別、質問応答、コンプライアンス監視のためのAIツールの基礎となる。
- 参考スコア(独自算出の注目度): 11.848590654912961
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Extracting structured information from regulatory documents is a critical but challenging task. Relevant facts are scattered across long, legally dense texts, and traceability of extracted facts to their source is essential for verification. With increasing awareness of the environmental and health impacts of per- and polyfluoroalkyl substances (PFAS), regulatory documents have expanded significantly, varying in scope and product relevance, making interpretation challenging for manufacturers and policymakers. We introduce RegExtract, a benchmark for structured information extraction from PFAS regulatory documents, comprising 488 human-annotated field instances across 20 US state documents and 46 regulations. Each field instance includes a value and a provenance entry, yielding 976 entries in total. We define a typed, multi-field schema targeting key elements such as material definitions, permitted uses, and product exemptions, and propose provenance-aware evaluation metrics tailored to regulatory text. Through experiments with open- and closed-source LLMs across prompting strategies, document condensing methods, and schema partitioning approaches, we find that document identification fields remain challenging, and that field-specific few-shot examples improve extraction. This work lays the groundwork for AI tools for hazardous substance identification, question answering, and compliance monitoring. The code and data are available at https://github.com/IBM/PFAS-regulations.
- Abstract(参考訳): 規制文書から構造化された情報を抽出することは、重要だが難しい課題である。
関連する事実は、長く、法的に密集したテキストに分散しており、抽出された事実のソースへのトレーサビリティは、検証に不可欠である。
PFAS (per- and polyfluoroalkyl substances) の環境・健康への影響に対する認識が高まるにつれて、規制文書は範囲や製品関連性に大きく変化し、製造業者や政策立案者にとって解釈が困難になっている。
我々はPFAS規制文書から構造化情報抽出のためのベンチマークであるRegExtractを紹介した。
各フィールドインスタンスは値と前置詞のエントリを含み、合計で976のエントリを出力する。
材料定義や使用許可,製品免除といった重要な要素を対象とするタイプ付きマルチフィールドスキーマを定義し,規制テキストに適した評価指標を提案する。
オープンおよびクローズド・ソース LLM を用いた実験により,文書の抽出方法,スキーマ分割手法,文書識別フィールドの抽出が困難であり,フィールド固有の少数ショット例が抽出を改善することがわかった。
この研究は、有害物質識別、質問応答、コンプライアンス監視のためのAIツールの基礎となる。
コードとデータはhttps://github.com/IBM/PFAS-regulationsで公開されている。
関連論文リスト
- Enoki: Efficient Multi-Level Hallucination Detection [48.671558015589575]
本研究では,幻覚検出のためのオープン情報抽出フレームワークであるEnokiを提案する。
エノキは、テキストアンコールされた関係事実を抽出し、証拠に対して証拠を検証し、幻覚したスパンへのプロジェクトサポートされた事実を復元する。
本研究では,エノキが資源の少ないにもかかわらず,強力なクレームレベルのシステムと競合し続けていることを示し,細粒度スパンおよびエンティティレベルのローカライゼーションにおいて優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2026-09-01T02:21:28Z) - From Regulation to Implementation: A Critical Evaluation of LLM-Assisted Regulatory Compliance in Industry [0.0]
本研究では,データ抽出命令と曖昧さがコンプライアンスアーティファクトの品質と一貫性に与える影響について検討する。
得られた成果物は、手動で作成した地上間スキーマに対して、異なるモデルのベンチマークによって評価される。
論文 参考訳(メタデータ) (2026-08-21T17:27:13Z) - DECODEM: Data Extraction from Corporate Organizational Documents via Enhanced Methods [2.0789144738685956]
本稿では,組織文書からコーポレートガバナンス変数の自動抽出を評価するためのベンチマークデータセットであるDECODEMを紹介する。
ベンチマークでは、ランダムにサンプル化した企業憲章と、実証的な作業でよく研究されるさまざまなガバナンス条項をカバーする高品質な人事アノテーションが組み合わされた。
その結果, 自動抽出は多くの条件に対して高い精度で実現可能であり, アプローチを横断する上界付近では中央値の性能が向上することが示唆された。
論文 参考訳(メタデータ) (2026-07-17T11:48:31Z) - Citation-Closure Retrieval and Per-Rule Attribution for Real-World Regulatory Compliance Question Answering [54.97384993676565]
複雑な国内R&D規制から派生した運用知識グラフを特徴とする,新たなベンチマークであるRegOps-Benchを用いて,レギュレーションコンプライアンスQAを形式化する。
RefWalkはクロスドキュメントの引用を横切り、マックスベースのアグリゲーションを通じてマルチビュー候補を融合させ、ソースへのクレームを明示的にマッピングするためにルールごとの属性を強制する。
論文 参考訳(メタデータ) (2026-05-28T10:38:38Z) - Doc-PP: Document Policy Preservation Benchmark for Large Vision-Language Models [13.70855540464427]
我々は、厳密な非開示ポリシーの下で、異質な視覚的およびテキスト的要素の推論を必要とする実世界のレポートから構築された新しいベンチマークDoc-PPを紹介する。
モデルでは、複雑な合成によって答えが推測されなければならない場合や、モダリティにまたがって集約された場合、機密情報を頻繁にリークする。
政策検証から推論を分離する構造推論フレームワークであるDVAを提案する。
論文 参考訳(メタデータ) (2026-01-07T13:45:39Z) - Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。
AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。
結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
論文 参考訳(メタデータ) (2025-07-22T06:37:51Z) - Unstructured Evidence Attribution for Long Context Query Focused Summarization [53.08341620504465]
固定粒度の場合よりも、より関連性が高く一貫した証拠を得るために、非構造的(すなわち任意の長さのスパン)な証拠を抽出することを提案する。
既存のシステムが、非構造的証拠をコピーし、適切に引用するのにどのように苦労しているかを示す。
論文 参考訳(メタデータ) (2025-02-20T09:57:42Z) - RIRAG: Regulatory Information Retrieval and Answer Generation [51.998738311700095]
本稿では,質問を自動生成し,関連する規制通路と組み合わせる,問合せペアを生成するタスクを紹介する。
我々は、Abu Dhabi Global Markets (ADGM) の財務規制文書から得られた27,869の質問を含むObliQAデータセットを作成する。
本稿では,RIRAG(Regulation Information Retrieval and Answer Generation)システムをベースラインとして設計し,新しい評価基準であるRePASを用いて評価する。
論文 参考訳(メタデータ) (2024-09-09T14:44:19Z) - Natural language processing for word sense disambiguation and
information extraction [0.0]
Thesaurus を用いた Word Sense Disambiguation の新しいアプローチを提案する。
ファジィ論理に基づく文書検索手法について解説し,その応用例を示した。
この戦略は、明らかな推論のデンプスター・シェーファー理論に基づく新しい戦略の提示で締めくくられる。
論文 参考訳(メタデータ) (2020-04-05T17:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。