論文の概要: LeakageDetector: An Open Source Data Leakage Analysis Tool in Machine Learning Pipelines

• arxiv url: http://arxiv.org/abs/2503.14723v1
• Date: Tue, 18 Mar 2025 20:53:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:29:57.465611
• Title: LeakageDetector: An Open Source Data Leakage Analysis Tool in Machine Learning Pipelines
• Title（参考訳）: LeakageDetector: 機械学習パイプラインにおけるオープンソースのデータ漏洩解析ツール
• Authors: Eman Abdullah AlOmar, Catherine DeMario, Roger Shagawat, Brandon Kreiser,
• Abstract要約: 私たちの研究は、機械学習(ML)エンジニアがモデルでData Leakageのインスタンスを見つけて修正するのを助けることで、より良いコードを書くことを可能にすることを目的としています。 ML開発者は、コードにData Leakageを導入するのを避けるために、データをトレーニング、評価、テストセットに慎重に分離する必要がある。 本稿では,MLコードのData Leakageのインスタンスを識別するPythonプラグインであるLEAKAGEDETECTORを開発し,リークの除去方法について提案する。
• 参考スコア（独自算出の注目度）: 3.5453450990441238
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Code quality is of paramount importance in all types of software development settings. Our work seeks to enable Machine Learning (ML) engineers to write better code by helping them find and fix instances of Data Leakage in their models. Data Leakage often results from bad practices in writing ML code. As a result, the model effectively ''memorizes'' the data on which it trains, leading to an overly optimistic estimate of the model performance and an inability to make generalized predictions. ML developers must carefully separate their data into training, evaluation, and test sets to avoid introducing Data Leakage into their code. Training data should be used to train the model, evaluation data should be used to repeatedly confirm a model's accuracy, and test data should be used only once to determine the accuracy of a production-ready model. In this paper, we develop LEAKAGEDETECTOR, a Python plugin for the PyCharm IDE that identifies instances of Data Leakage in ML code and provides suggestions on how to remove the leakage.
• Abstract（参考訳）: コード品質は、あらゆるタイプのソフトウェア開発設定において最も重要である。 私たちの研究は、機械学習(ML)エンジニアがモデルでData Leakageのインスタンスを見つけて修正するのを助けることで、より良いコードを書くことを可能にすることを目的としています。 データ漏洩は、しばしばMLコードを書く際の悪いプラクティスから生じます。 その結果、モデルが訓練するデータを効果的に「記憶」し、モデルの性能を過度に予測し、一般化された予測を行うことができない。 ML開発者は、コードにData Leakageを導入するのを避けるために、データをトレーニング、評価、テストセットに慎重に分離する必要がある。 トレーニングデータを使ってモデルをトレーニングし、評価データを使ってモデルの正確性を繰り返し確認し、テストデータは生産可能なモデルの正確性を決定するために一度だけ使用するべきです。 本稿では,MLコードのData Leakageのインスタンスを識別するPyCharm IDE用のPythonプラグインであるLEAKAGEDETECTORを開発し,リークの除去方法について提案する。

関連論文リスト

• Exploring LLM Agents for Cleaning Tabular Machine Learning Datasets [19.844836459291546]
  高品質でエラーのないデータセットは、信頼性、正確、偏見のない機械学習(ML)モデルを構築する上で重要な要素である。 しかし、実世界のデータセットは、センサーの故障、データ入力ミス、複数のソースにわたる不適切なデータ統合によるエラーに悩まされることが多い。 本研究では,Large Language Models (LLMs) が手作業によるデータクリーニングの負担軽減に有効かどうかを検討する。
  論文  参考訳（メタデータ） (2025-03-09T15:29:46Z)
• DUPRE: Data Utility Prediction for Efficient Data Valuation [49.60564885180563]
  Data Shapleyのような協調ゲーム理論に基づくデータ評価では、データユーティリティを評価し、複数のデータサブセットに対してMLモデルを再トレーニングする必要がある。 我々のフレームワークである textttDUPRE は、モデル再学習による評価ではなく、データユーティリティを予測することによって、サブセット評価当たりのコストを削減できる代替手法を採用しています。 具体的には、いくつかのデータサブセットのデータユーティリティを評価すると、textttDUPREは、他のすべてのデータサブセットの有用性を予測するために、emphGaussianプロセス(GP)回帰モデルに適合する。
  論文  参考訳（メタデータ） (2025-02-22T08:53:39Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,グレーボックス条件下で動作可能である。 4つのベンチマークデータセットから35個の主要なオープンソースLCMのデータ漏洩度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• Task-Aware Machine Unlearning and Its Application in Load Forecasting [4.00606516946677]
  本稿では、すでに訓練済みの予測器に対するデータセットの一部の影響を除去するために特別に設計された機械学習の概念を紹介する。 局所モデルパラメータ変化の感度を影響関数とサンプル再重み付けを用いて評価することにより,性能認識アルゴリズムを提案する。 リアルな負荷データセットを用いて,線形,CNN,Mixerベースの負荷予測器上で,未学習アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2023-08-28T08:50:12Z)
• AI Model Disgorgement: Methods and Choices [127.54319351058167]
  本稿では,現代の機械学習システムに適用可能な分類法を紹介する。 学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
  論文  参考訳（メタデータ） (2023-04-07T08:50:18Z)
• Information FOMO: The unhealthy fear of missing out on information. A method for removing misleading data for healthier models [0.0]
  ミスリーディングや不要なデータは、マシンラーニング(ML)モデルの健全性や正確性に大きく影響します。 本稿では,データセット内の重要な情報を特定するシーケンシャルな選択法を提案する。 これらの不安定性は、基礎となるマップの複雑さの結果であり、極端な事象や重い尾と結びついている。
  論文  参考訳（メタデータ） (2022-08-27T19:43:53Z)
• Zero-Shot Machine Unlearning [6.884272840652062]
  現代のプライバシー規制は、市民に製品、サービス、企業によって忘れられる権利を与える。 トレーニングプロセスやトレーニングサンプルに関連するデータは、未学習の目的のためにアクセスできない。 本稿では, (a) 誤り最小化雑音と (b) ゲート付き知識伝達に基づくゼロショットマシンアンラーニングのための2つの新しい解を提案する。
  論文  参考訳（メタデータ） (2022-01-14T19:16:09Z)
• Supervised Machine Learning with Plausible Deniability [1.685485565763117]
  機械学習(ML)モデルが、特定のデータセットでトレーニングされたモデルが、トレーニングデータに対してどの程度のプライバシを提供するか、という問題について検討する。 我々は、純粋にランダムなトレーニングデータの集合を取ることができ、そこから、ちょうど$f$のMLモデルを生成する'適切な学習ルール'を定義することができることを示す。
  論文  参考訳（メタデータ） (2021-06-08T11:54:51Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。