論文の概要: Data Quality Rule Generation with LLMs

• arxiv url: http://arxiv.org/abs/2609.06053v1
• Date: Sat, 05 Sep 2026 12:17:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.186269
• Title: Data Quality Rule Generation with LLMs
• Title（参考訳）: LLMを用いたデータ品質ルール生成
• Abstract要約: LLMに基づくDQルール生成手法であるLeDQeRを紹介する。 大規模言語モデル(LLM)は、観測された汚いデータから候補ルールを生成する。 LeDQeRは、様々なデータセットやエラータイプに対して、効果的でコンパクトなルールセットを生成することができる。
• 参考スコア（独自算出の注目度）: 1.3505192986379397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The validation of data, such as customer and employee data, is an important task in many organizations. Errors in data can have severe consequences. For example, a wrong drug unit in a patient record can lead to life-threatening medication errors, and a missing street number in an address to failed deliveries. Companies often employ rule-based enterprise data quality (DQ) tools, which allow domain experts to specify rules to validate the data over time. While rule-based DQ tools are computationally efficient and provide explainable reports, maintaining a comprehensive rule set manually is challenging, as domain experts often overlook essential rules, especially in complex domains and large data volumes. Hence, closing these gaps remains an open problem in practice. In this paper, we address the challenge of automated DQ rule generation. For this, we formalize a generalizable generate-filter framework and introduce LeDQeR, an LLM-based DQ rule generation approach. First, a large language model (LLM) generates candidates rules from an observed dirty data tuple for a given rule-based DQ tool syntax. Second, we apply four filter techniques that ensure the (i) executability, (ii) correctness, and (iii) generalizability, and avoid (iv) redundancy of the generated rules. An extensive experimental evaluation suggests that LeDQeR is able to produce effective and compact rule sets for various datasets and error types.
• Abstract（参考訳）: 顧客データや従業員データなどのデータの検証は多くの組織において重要なタスクである。 データ内のエラーは深刻な結果をもたらす可能性がある。 例えば、患者の記録にある誤った薬物ユニットは、命の危険を冒す薬物のエラーを招き、配達に失敗した住所の道番が失われる可能性がある。 企業はしばしばルールベースのエンタープライズデータ品質(DQ)ツールを使用し、ドメインの専門家は時間とともにデータを検証するためのルールを指定できる。 ルールベースのDQツールは、計算的に効率的で説明可能なレポートを提供するが、ドメインの専門家は、特に複雑なドメインや大規模なデータボリュームにおいて、必須のルールを見落としているため、手動で包括的なルールセットを維持することは難しい。 したがって、これらのギャップを閉じることは、実際には未解決の問題である。 本稿では,自動DQルール生成の課題に対処する。 このために、一般化可能な生成フィルタフレームワークを形式化し、LLMベースのDQルール生成アプローチであるLeDQeRを導入する。 まず、大規模言語モデル(LLM)は、所定のルールベースのDQツール構文に対して、観測された汚いデータタプルから候補ルールを生成する。 第2に,フィルタを確実にする4つの手法を適用する。 (i)実行可能性、 (二)正しさ、及び (三)一般化可能性及び回避 (4)生成された規則の冗長性。 大規模な実験的評価は、LeDQeRが様々なデータセットやエラータイプに対して効果的でコンパクトなルールセットを生成することができることを示唆している。

関連論文リスト

• Taking a Closer Look at Warnings Generated by PMD and SonarQube, their Rules and Compliance to Established Coding Standards [2.6699776214769666]
  静的コード分析ツールはソフトウェア開発において重要な役割を果たす。 コミュニティの最高のツールには、偽陽性と偽陰性が高いことが報告されている。
  論文  参考訳（メタデータ） (2026-02-28T21:50:23Z)
• From Few-Shot to Zero-Shot: Towards Generalist Graph Anomaly Detection [89.52759572485276]
  ARCは、文脈内学習を利用した数発のGAD法であり、推論時にわずかにラベル付き正規サンプルを必要とする。 ARCとARC_zeroは、異常を効果的に検出し、強力な一般化能力を示し、少数ショットおよびゼロショット設定下で効率的に実行する。
  論文  参考訳（メタデータ） (2026-02-21T10:59:00Z)
• RulePilot: An LLM-Powered Agent for Security Rule Generation [15.638534363355342]
  ルールベースの検出は、事前に定義された文法論理に基づいて悪意のあるログを識別することが多い。 本稿では, LLMをベースとしたエージェントを用いて, 人間の専門知識を模倣したルールパイロットを提案する。 RulePilotを使用すると、セキュリティアナリストは文法に従うルールを書き留める必要はなく、単にアノテーションを提供するだけである。
  論文  参考訳（メタデータ） (2025-11-15T13:59:16Z)
• Hey, That's My Data! Label-Only Dataset Inference in Large Language Models [63.35066172530291]
  CatShiftはラベルのみのデータセット推論フレームワークである。 LLMは、新しいデータに晒されたとき、学習した知識を上書きする傾向にある。
  論文  参考訳（メタデータ） (2025-06-06T13:02:59Z)
• Learning Rules from KGs Guided by Language Models [48.858741745144044]
  ルール学習手法は、潜在的に欠落する事実を予測するために適用することができる。 規則のランク付けは、高度に不完全あるいは偏りのあるKGよりも特に難しい。 近年のLanguage Models (LM) の台頭により、いくつかの研究が、LMがKG補完の代替手段として利用できると主張している。
  論文  参考訳（メタデータ） (2024-09-12T09:27:36Z)
• RNR: Teaching Large Language Models to Follow Roles and Rules [153.6596303205894]
  既存のIFT命令から多様な役割やルールを生成する自動データ生成パイプラインであるモデルを提案する。 このデータは、複雑なシステムプロンプトに従うモデルをトレーニングするために使用することができる。 我々のフレームワークは、大規模言語モデルにおける役割と規則に従う能力を大幅に改善します。
  論文  参考訳（メタデータ） (2024-09-10T06:07:32Z)
• RuleR: Improving LLM Controllability by Rule-based Data Recycling [28.74786215922553]
  ルールベースのデータリサイクリング(RuleR)は、事前定義されたルールに従って、複数の制約を元のデータサンプルに組み込むデータ拡張手法である。 ルールRは、スクラッチから新しいデータを生成する代わりに、ルールベースの編集を彼らのレスポンスに単純に適用し、元の命令にルール命令を追加することで、既存のデータを「リサイクル」する。 一般的な指示追従能力を維持しつつ,LLM制御性の向上におけるルールRの有効性を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2024-06-22T20:57:12Z)
• Automatic Question-Answer Generation for Long-Tail Knowledge [65.11554185687258]
  テールエンティティのための特別なQAデータセットを生成するための自動アプローチを提案する。 我々は,新たに生成された長尾QAデータセットに事前学習したLLMを用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-03-03T03:06:31Z)
• FAIR: Filtering of Automatically Induced Rules [29.777290150010504]
  本稿では,多数の自動生成ルールからルールをフィルタリングするアルゴリズムを提案する。 本稿では,既存のルールフィルタリング手法と比較して,統計的に有意な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-23T18:04:54Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• LPRules: Rule Induction in Knowledge Graphs Using Linear Programming [4.94950858749529]
  ルールベースのメソッドは、入力グラフ内の既存の事実をキャプチャする一階述語論理ルールを学び、これらのルールを使用して、行方不明の事実を推論する。 このような方法の大きな欠点は、大規模なデータセットに対するスケーラビリティの欠如である。 候補ルールのリストからルールを選択し、重み付けを割り当てるための単純な線形プログラミング(LP)モデルを提案する。
  論文  参考訳（メタデータ） (2021-10-15T17:58:16Z)
• Towards Learning Instantiated Logical Rules from Knowledge Graphs [20.251630903853016]
  本稿では,知識グラフから一階述語論理規則を抽出するために最適化された確率論的学習ルールGPFLを提案する。 GPFLは、抽出された経路を非循環的な抽象規則であるテンプレートに一般化する新しい2段階ルール生成機構を利用する。 オーバーフィッティングルールの存在、予測性能への影響、およびオーバーフィッティングルールをフィルタリングする単純なバリデーション手法の有効性を明らかにする。
  論文  参考訳（メタデータ） (2020-03-13T00:32:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。