Fugu-MT 論文翻訳(概要): Towards Practical Benchmarking of Data Cleaning Techniques: On Generating Authentic Errors via Large Language Models

論文の概要: Towards Practical Benchmarking of Data Cleaning Techniques: On Generating Authentic Errors via Large Language Models

arxiv url: http://arxiv.org/abs/2507.10934v1
Date: Tue, 15 Jul 2025 02:58:25 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-16 19:46:02.961376
Title: Towards Practical Benchmarking of Data Cleaning Techniques: On Generating Authentic Errors via Large Language Models
Title（参考訳）: データクリーニング技術の実践的ベンチマークに向けて:大規模言語モデルによる認証エラーの生成について
Authors: Xinyuan Liu, Jiahui Chen, Bocheng Hu, Yu Sun, Xinyang Chen, Shaoxu Song,
Abstract要約: TableEGは、大規模な言語モデルを利用して、真のエラーを生成するフレームワークである。 10の異なるドメインにまたがる12の現実世界のデータセットをトレーニングしました。 TableEGは、合成エラーと実世界のエラーのギャップを埋めるだけでなく、その後のエラー検出と修正タスクの堅牢なベンチマークも確立している。
参考スコア（独自算出の注目度）: 15.985949745494747
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Data quality remains an important challenge in data-driven systems, as errors in tabular data can severely compromise downstream analytics and machine learning performance. Although numerous error detection algorithms have been proposed, the lack of diverse, real-world error datasets limits comprehensive evaluation. Manual error annotation is both time-consuming and inconsistent, motivating the exploration of synthetic error generation as an alternative. In this work, we introduce TableEG, a framework that leverages large language models (LLMs) to generate authentic errors. By employing a table fine-tuning strategy and a triplet representation $(I, T, O)$ to model error generation, detection, and correction tasks, TableEG captures the complex dependencies inherent in two-dimensional tables. Trained on 12 real-world datasets spanning 10 diverse domains, TableEG ensures that the synthesized errors faithfully reflect authentic error distributions. Experimental results indicate that errors generated by TableEG exhibit superior pattern and distribution similarity compared to both rule-based methods and LLM-generated errors without fine-tuning. Furthermore, performance metrics on TableEG-generated errors closely align with those on real-world errors across nearly all datasets and detection algorithms, particularly for machine learning based detection techniques. Overall, TableEG not only bridges the gap between synthetic and real-world errors but also establishes a robust benchmark for subsequent error detection and correction tasks.
Abstract（参考訳）: データ品質は、グラフデータのエラーが下流の分析と機械学習のパフォーマンスを著しく損なう可能性があるため、データ駆動システムにおいて依然として重要な課題である。多くのエラー検出アルゴリズムが提案されているが、多種多様な実世界のエラーデータセットの欠如は包括的な評価を制限している。手動エラーアノテーションは、時間と一貫性が無く、代替として合成エラー生成の探索を動機付けている。本研究では,大規模言語モデル(LLM)を活用して真偽を生成するフレームワークであるTableEGを紹介する。テーブルファインチューニング戦略と$(I, T, O)$を使ってエラー生成、検出、修正タスクをモデル化することにより、TableEGは2次元テーブルに固有の複雑な依存関係をキャプチャする。 TableEGは10の異なるドメインにまたがる12の現実世界のデータセットに基づいてトレーニングされており、合成されたエラーが真正なエラー分布を忠実に反映していることを保証する。実験結果から,TableEG が生成した誤差は,ルールベース法と LLM 生成誤差を微調整せずに比較すると,パターンと分布の類似性に優れていたことが示唆された。さらに、TableEG生成エラーのパフォーマンス指標は、ほぼすべてのデータセットと検出アルゴリズム、特に機械学習ベースの検出技術における実世界のエラーと密接に一致している。全体として、TableEGは合成エラーと実世界のエラーのギャップを埋めるだけでなく、その後のエラー検出と修正タスクの堅牢なベンチマークも確立している。

関連論文リスト

AdvKT: An Adversarial Multi-Step Training Framework for Knowledge Tracing [64.79967583649407]
知識追跡(KT)は、学生の知識状態を監視し、質問シーケンスに対する反応をシミュレートする。既存のKTモデルは通常、単一ステップのトレーニングパラダイムに従っており、大きなエラーの蓄積につながる。本稿では,多段階KTタスクに着目した新しい知識追跡のための多段階学習フレームワーク(AdvKT)を提案する。
論文参考訳（メタデータ） (2025-04-07T03:31:57Z)
Exploring LLM Agents for Cleaning Tabular Machine Learning Datasets [19.844836459291546]
高品質でエラーのないデータセットは、信頼性、正確、偏見のない機械学習(ML)モデルを構築する上で重要な要素である。しかし、実世界のデータセットは、センサーの故障、データ入力ミス、複数のソースにわたる不適切なデータ統合によるエラーに悩まされることが多い。本研究では,Large Language Models (LLMs) が手作業によるデータクリーニングの負担軽減に有効かどうかを検討する。
論文参考訳（メタデータ） (2025-03-09T15:29:46Z)
Tgea: An error-annotated dataset and benchmark tasks for text generation from pretrained language models [57.758735361535486]
TGEAは、事前訓練された言語モデル(PLM)からテキストを生成するためのエラーアノテートデータセットである。 PLM生成文で発生する24種類の誤りを網羅する誤り分類を作成する。 PLM生成テキストに対する包括的なアノテーションを備えた最初のデータセットである。
論文参考訳（メタデータ） (2025-03-06T09:14:02Z)
Error Classification of Large Language Models on Math Word Problems: A Dynamically Adaptive Framework [64.83955753606443]
数学の単語問題は、大規模言語モデルの推論能力を評価するための重要なベンチマークとなる。現在のエラー分類法は静的および事前定義されたカテゴリに依存している。 MWPES-300Kは,304,865個のエラーサンプルを含む包括的データセットである。
論文参考訳（メタデータ） (2025-01-26T16:17:57Z)
Distributionally robust self-supervised learning for tabular data [2.942619386779508]
エラースライスの存在下での堅牢な表現の学習は、高い濃度特徴とエラーセットの構築の複雑さのために困難である。従来の堅牢な表現学習手法は、コンピュータビジョンにおける教師付き設定における最悪のグループパフォーマンスの改善に主に焦点をあてている。提案手法は,Masked Language Modeling (MLM) の損失を学習したエンコーダ・デコーダモデルを用いて,頑健な潜在表現を学習する。
論文参考訳（メタデータ） (2024-10-11T04:23:56Z)
Subtle Errors in Reasoning: Preference Learning via Error-injected Self-editing [59.405145971637204]
eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは、事前定義された微妙なエラーをピボットトークンに注入する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでの優先学習により、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善され、トレーニングサンプルは4.5Kに留まった。
論文参考訳（メタデータ） (2024-10-09T07:43:38Z)
Detecting Errors through Ensembling Prompts (DEEP): An End-to-End LLM Framework for Detecting Factual Errors [11.07539342949602]
本稿では,テキスト要約における事実誤り検出のためのエンドツーエンドフレームワークを提案する。我々のフレームワークは、様々なLCMプロンプトを使用して、事実の矛盾を識別する。我々は、アンサンブルされたモデルを校正し、テキストが実際に一貫した、あるいは幻覚のない、経験的に正確な確率を生成する。
論文参考訳（メタデータ） (2024-06-18T18:59:37Z)
Parameter-tuning-free data entry error unlearning with adaptive selective synaptic dampening [51.34904967046097]
本稿では,パラメータチューニングの必要性を排除した選択的シナプス減衰アンラーニング法の拡張を提案する。本稿では,ResNet18とVision Transformerの未学習タスクにおける適応選択的シナプス減衰(ASSD)の性能を示す。このアプローチの適用は、サプライチェーン管理などの産業環境において特に魅力的である。
論文参考訳（メタデータ） (2024-02-06T14:04:31Z)
Annotating and Detecting Fine-grained Factual Errors for Dialogue Summarization [34.85353544844499]
本稿では,DIASUMFACTというファクトエラーアノテーションを用いた最初のデータセットを提案する。文レベルのマルチラベル分類問題として,ファクト・ファクト・エラー検出を定義する。事前学習したエンコーダ-デコーダモデルを用いた候補ランキングによる教師なしモデルENDERANKERを提案する。
論文参考訳（メタデータ） (2023-05-26T00:18:33Z)
Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
論文参考訳（メタデータ） (2023-02-17T16:20:33Z)
Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors [105.12462629663757]
本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
論文参考訳（メタデータ） (2022-05-25T15:26:48Z)
Out-Of-Bag Anomaly Detection [0.9449650062296822]
データ異常は、実世界のデータセットでユビキタスであり、機械学習(ML)システムに悪影響を及ぼす可能性がある。本稿では,新しいモデルに基づく異常検出手法を提案し,その手法をアウト・オブ・バグ検出と呼ぶ。本手法は,家庭評価のケーススタディを通じて,データ前処理のステップとして,MLシステムの精度と信頼性を向上させることができることを示す。
論文参考訳（メタデータ） (2020-09-20T06:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。