論文の概要: Agentic Data Cleaning Without a Clean Reference: An Experimental Study of Capabilities and Trade-offs
- arxiv url: http://arxiv.org/abs/2608.14765v1
- Date: Fri, 14 Aug 2026 11:55:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.073767
- Title: Agentic Data Cleaning Without a Clean Reference: An Experimental Study of Capabilities and Trade-offs
- Title(参考訳): クリーンな基準のないエージェントデータクリーニング:能力とトレードオフの実験的研究
- Abstract要約: 本稿では,異なるエージェントが参照不要なデータクリーニングに与える影響について検討する。
7つの構成は、財務、臨床、環境監視データセットで評価される。
全体として、結果は、一貫した改善を生み出すのではなく、検出、修復、証拠の根拠、保守的行動、記述的行動、運用コストのトレードオフをもたらす追加の能力を示している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data cleaning without a trusted clean reference is challenging because unusual values may represent either genuine errors or valid observations. This paper studies how different agent capabilities affect reference-free data cleaning and proposes an evidence-grounded framework that combines structured context, profiling, LLM reasoning, executable checks, controlled evidence retrieval, source ranking, citation alignment, conservative repair, reversible scripts, and provenance logging. Seven configurations are evaluated across financial, clinical, and environmental-monitoring datasets using controlled synthetic corruption and original-data descriptive analysis, resulting in 126 completed runs. The evaluation includes two comparison baselines and a progressive LLM-based sequence that adds executable tools, evidence retrieval, evidence controls, and conservative repair. In the synthetic evaluation, the deterministic profiling baseline achieved the highest detection F1-score of 0.561. Among the LLM-based configurations, the full conservative configuration achieved the highest F1-score of 0.421, but no configuration performed best across all evaluation criteria. The source-ranked configurations achieved the lowest unsupported-rule rates, while decision-level citation alignment remained weak. The full conservative configuration produced no unsafe or unnecessary modifications, although these rates were already zero before the conservative policy was added, and it performed no direct repairs. Overall, the results show that additional capabilities introduce trade-offs among detection, repair, evidence grounding, conservative behaviour, reproducibility, and operational cost rather than producing consistent improvements. The study provides a structured framework and empirical methodology for evaluating these trade-offs in reference-free agentic data cleaning.
- Abstract(参考訳): 信頼されたクリーンな参照のないデータのクリーニングは難しい。
本稿では,異なるエージェントが参照不要なデータのクリーニングにどう影響するかを考察し,構造化コンテキスト,プロファイリング,LCM推論,実行可能チェック,制御されたエビデンス検索,ソースランキング,引用アライメント,保守的修復,可逆スクリプト,証明ロギングを組み合わせたエビデンス基盤フレームワークを提案する。
7つの構成は、制御された合成汚職と原データ記述分析を用いて、財務、臨床、環境監視データセット間で評価され、結果として126回の実行が完了した。
この評価には、2つの比較ベースラインと、実行可能なツール、エビデンス検索、エビデンスコントロール、保守的な修復を追加するプログレッシブLSMベースのシーケンスが含まれる。
合成評価では, 決定論的プロファイリングベースラインは0.561でF1スコアの最高値を達成した。
LLMベースの構成の中で、完全な保守的な構成はF1スコアの0.421を達成したが、すべての評価基準で最善を尽くした構成は行われなかった。
ソースランク設定は最下位のルールレートを達成したが、決定レベルの引用アライメントは弱かった。
完全な保守的な構成は安全でない、あるいは不要な修正は行わなかったが、これらのレートは保守的な政策が加えられる前には既にゼロであり、直接の修理は行わなかった。
全体として、結果は、一貫した改善を生み出すのではなく、検出、修復、証拠の根拠、保守的な行動、再現性、運用コストのトレードオフをもたらす追加の能力を示している。
この研究は、基準のないエージェントデータクリーニングにおいて、これらのトレードオフを評価するための構造化されたフレームワークと実証的な方法論を提供する。
関連論文リスト
- Explicit State Elicitation Is Not Enough: A Controlled Audit of Memory-Policy Classification [11.991995412984503]
この設定を用いて、構造化中間出力の実証監査プロトコルを開発する。
480サンプルの合成開発セットは、当初は状態に構造化されたプロンプトバンドルから大きな利益が得られたことを示唆していた。
このセットでは、4つの状態定義を公開することで精度が向上するが、分離された明示的な状態出力フィールドはポリシーの精度を著しく改善しない。
論文 参考訳(メタデータ) (2026-08-18T01:04:45Z) - DACRI: Decision-Aware Causal Intervention Ranking for Critical Supply Chains [7.300943403522602]
提案するCriticalSCM-Bench v1は,因果的真理と実/実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実
フル情報トレイン選択静的ベンチマークとは対照的に、LambdaMARTは中央値の正規化を5.7-16.2%改善している。
デジタルインフラストラクチャーでは、ドメインインフォームド定数バッファポリシーが引き続き強く、モデル複雑性が一様に正当化されないことを示す。
論文 参考訳(メタデータ) (2026-08-11T17:12:08Z) - Unmasking Removal-Budget Confounding: A Matched Operating-Point Evaluation Framework for Adaptive Data Cleaning [0.0]
一致した予算と一致したリコール制御を用いた手法の評価を行うオペレーティングポイント・アウェア評価フレームワークを提案する。
このフレームワークは、再重み付き学習難易度キュー、補助ユークリッド距離キュー、パーティションの粒度向上を特徴とするマルチキュー適応クリーナー設計でテストする。
偽陽性の分解は、清潔だが難易度の高いサンプルは、主に低汚職率でエラー数を減少させ、適度な汚職でしきい値に依存し、重度の汚職下では無視的に寄与することを示した。
論文 参考訳(メタデータ) (2026-08-06T18:50:35Z) - From Trajectories to Evidence: Auditable Experimental Records for Industrial Research Agents [47.678562263387214]
研究エージェントは、産業レコメンデーション設定において、多段階の機械学習実験をますます実施している。
生成されたアーティファクトは、サポートされないか、不完全かもしれないし、実行されたラウンドは無効かもしれないし、あるいは廃止されるかもしれないし、後の修正は、以前の発見を曖昧にするかもしれない。
本稿では,連続的アーティファクトのバウンダリ検証と実行後のクレーム資格を結合するエビデンス・グラウンド・フレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-05T13:37:38Z) - Unsupervised Skill Discovery for Agentic Data Analysis [55.42853694128929]
DataCOPEは、データ分析エージェントのための教師なし検証対象のスキル発見フレームワークである。
トラジェクトリ生成のためのデータ分析エージェント、信号抽出のための教師なし検証器、および対照的なスキル蒸留のためのスキルマネージャを反復的にコーディネートする。
我々は,Deep Data Researchのレポートスタイル分析とDABStepの推論スタイル解析についてDataCOPEを評価した。
論文 参考訳(メタデータ) (2026-06-04T17:20:47Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳(メタデータ) (2026-05-18T23:55:08Z) - SAAG: Structured Agent Assessment and Grounding [13.62148061055744]
本稿では,エージェント呼び出し評価を3段階に分解するケースケード診断フレームワークを提案する。
このフレームワークは,5,10,15エージェントのレジストリサイズにまたがって,Glaiveの関数呼び出しデータセットから得られたベンチマークで評価する。
論文 参考訳(メタデータ) (2026-04-30T19:33:58Z) - Coverage, Not Averages: Semantic Stratification for Trustworthy Retrieval Evaluation [3.4588983513116065]
検索向上世代(RAG)における検索品質は精度とロバスト性の主要なボトルネックである
我々は,評価を統計的推定問題として定式化し,評価セットの構成によってメートル法信頼性が根本的に制限されていることを示す。
その結果,(1)検索のセマンティック・システマティクスにまたがる形式的カバレッジ保証,(2)検索の失敗モードへの解釈可能な可視性を実現した。
論文 参考訳(メタデータ) (2026-04-22T16:49:30Z) - All That Glisters Is Not Gold: A Benchmark for Reference-Free Counterfactual Financial Misinformation Detection [67.89888669159899]
RFC Benchは、現実的なニュースの下で財務的な誤情報に関する大規模な言語モデルを評価するためのベンチマークである。
このベンチマークでは、2つの補完的なタスクが定義されている。
論文 参考訳(メタデータ) (2026-01-07T18:18:28Z) - Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking [64.97768177044355]
大規模言語モデル(LLM)は、現実のファクトチェックシステムにますます多くデプロイされている。
FactArenaは、完全に自動化されたアリーナスタイルの評価フレームワークである。
本研究では,静的クレーム検証精度とエンドツーエンドのファクトチェック能力の相違点を明らかにした。
論文 参考訳(メタデータ) (2026-01-06T02:51:56Z) - Benchmarking Corruption Robustness of LVLMs: A Discriminative Benchmark and Robustness Alignment Metric [49.393713730706445]
汚損の堅牢性を評価するための識別サンプルを強調したベンチマークであるBench-Cを紹介する。
本稿では,ロバストネスアライメントスコア(RAS)を提案する。
論文 参考訳(メタデータ) (2025-11-24T12:07:56Z) - Principled Context Engineering for RAG: Statistical Guarantees via Conformal Prediction [40.28465841863481]
Retrieval-Augmented Generation (RAG)は、大規模言語モデルにおける現実的な基盤を強化する。
既存の前世代のフィルターは信頼性のスコアに依存しており、保持された証拠に対する統計的制御を提供していない。
本研究では,コンフォメーション予測によるコンテキスト工学の実証を行う。
論文 参考訳(メタデータ) (2025-11-22T04:17:06Z) - Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。
AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文 参考訳(メタデータ) (2025-04-21T04:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。