論文の概要: SAVA: Scalable Learning-Agnostic Data Valuation

• arxiv url: http://arxiv.org/abs/2406.01130v1
• Date: Mon, 3 Jun 2024 09:17:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 01:48:31.629076
• Title: SAVA: Scalable Learning-Agnostic Data Valuation
• Title（参考訳）: SAVA: スケーラブルな学習非依存データ評価
• Authors: Samuel Kessler, Tam Le, Vu Nguyen,
• Abstract要約: 大規模でWebスクラッドな実際のデータセットには、個々のデータポイントの品質と関連性に影響を与えるノイズの多いアーティファクトが含まれている。 我々は、この問題をデータ評価タスクとして定式化し、クリーンでキュレートされた検証セットの類似性や相似性に応じて、トレーニングセット内のデータポイントに値を割り当てる。 LAVAの変種であるSAVAを提案し,その計算をデータポイントのバッチ上で行う。
• 参考スコア（独自算出の注目度）: 13.730143066480771
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Selecting suitable data for training machine learning models is crucial since large, web-scraped, real datasets contain noisy artifacts that affect the quality and relevance of individual data points. These artifacts will impact the performance and generalization of the model. We formulate this problem as a data valuation task, assigning a value to data points in the training set according to how similar or dissimilar they are to a clean and curated validation set. Recently, LAVA (Just et al. 2023) successfully demonstrated the use of optimal transport (OT) between a large noisy training dataset and a clean validation set, to value training data efficiently, without the dependency on model performance. However, the LAVA algorithm requires the whole dataset as an input, this limits its application to large datasets. Inspired by the scalability of stochastic (gradient) approaches which carry out computations on batches of data points instead of the entire dataset, we analogously propose SAVA, a scalable variant of LAVA with its computation on batches of data points. Intuitively, SAVA follows the same scheme as LAVA which leverages the hierarchically defined OT for data valuation. However, while LAVA processes the whole dataset, SAVA divides the dataset into batches of data points, and carries out the OT problem computation on those batches. We perform extensive experiments, to demonstrate that SAVA can scale to large datasets with millions of data points and doesn't trade off data valuation performance.
• Abstract（参考訳）: 大規模でWebスクラッドな実際のデータセットには、個々のデータポイントの品質と関連性に影響を与えるノイズの多いアーティファクトが含まれているため、マシンラーニングモデルのトレーニングに適したデータを選択することが重要です。 これらのアーティファクトは、モデルのパフォーマンスと一般化に影響を与えます。 我々は、この問題をデータ評価タスクとして定式化し、クリーンでキュレートされた検証セットの類似性や相似性に応じて、トレーニングセット内のデータポイントに値を割り当てる。 近年,LAVA (Just et al 2023) は,大規模ノイズ学習データセットとクリーン・バリデーション・セット間の最適輸送(OT)をモデル性能に依存せずに効率的にトレーニングデータを評価できることを示した。 しかし、LAVAアルゴリズムは、入力としてデータセット全体を必要とするため、そのアプリケーションは大規模なデータセットに制限される。 データセット全体ではなく,データポイントのバッチ上で計算を行う確率的(漸進的)アプローチのスケーラビリティに着想を得て,LAVAのスケーラブルな変種であるSAVAを提案し,その計算をデータポイントのバッチ上で行う。 直感的には、SAVAはデータバリュエーションに階層的に定義されたOTを利用するLAVAと同じスキームに従う。 しかし、LAVAがデータセット全体を処理している間、SAVAはデータセットをデータポイントのバッチに分割し、これらのバッチ上でOT問題計算を実行する。 SAVAが数百万のデータポイントを持つ大規模なデータセットにスケール可能であること、データバリュエーションのパフォーマンスをトレードオフしないことを実証するために、広範な実験を行います。

関連論文リスト

• Scaling Laws for the Value of Individual Data Points in Machine Learning [55.596413470429475]
  個々のデータポイントの値のスケーリング行動を調べることによって、新しい視点を導入する。 スケーリング法則を支持するための学習理論を提供し、それが様々なモデルクラスにまたがっていることを実証的に観察する。 私たちの研究は、個々のデータポイントの値のスケーリング特性を理解し、活用するための第一歩です。
  論文  参考訳（メタデータ） (2024-05-30T20:10:24Z)
• Neural Dynamic Data Valuation [4.286118155737111]
  ニューラルダイナミックデータ評価(NDDV)という最適制御の観点から,新しいデータ評価手法を提案する。 本手法は,データ最適制御状態の感度を用いて,データ評価を正確に識別する理論的解釈を持つ。 さらに,データポイントのユニークな特徴を捉え,データポイントと平均場状態の相互作用による公平性を確保するために,データ再重み付け戦略を実装した。
  論文  参考訳（メタデータ） (2024-04-30T13:39:26Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• OpenDataVal: a Unified Benchmark for Data Valuation [38.15852021170501]
  OpenDataValは、データバリュエーションのための、使いやすく、統一されたベンチマークフレームワークです。 OpenDataValは、11種類の最先端データバリュエーションアルゴリズムを含む統合環境を提供する。 我々はOpenDataValを用いてベンチマーク分析を行い、最先端データ評価手法の有効性を定量化し比較する。
  論文  参考訳（メタデータ） (2023-06-18T14:38:29Z)
• LAVA: Data Valuation without Pre-Specified Learning Algorithms [20.578106028270607]
  我々は、下流学習アルゴリズムに不利な方法でトレーニングデータを評価できる新しいフレームワークを導入する。 本研究では,訓練と検証セット間の非伝統的なクラスワイドワッサースタイン距離に基づいて,トレーニングセットに関連する検証性能のプロキシを開発する。 距離は、特定のリプシッツ条件下での任意のモデルに対する検証性能の上限を特徴付けることを示す。
  論文  参考訳（メタデータ） (2023-04-28T19:05:16Z)
• Data-OOB: Out-of-bag Estimate as a Simple and Efficient Data Value [17.340091573913316]
  本研究では,バッジモデルのためのデータ評価手法であるData-OOBを提案する。 Data-OOBは、評価に106ドルのサンプルがあり、入力寸法が100である場合、1つのCPUプロセッサで2.25時間未満である。 提案手法は,誤ラベル付きデータを識別し,有用な(あるいは有害な)データポイントの集合を見出すことで,既存の最先端データ評価手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2023-04-16T08:03:58Z)
• Evaluating the effect of data augmentation and BALD heuristics on distillation of Semantic-KITTI dataset [63.20765930558542]
  Active Learningは、自律運転データセットにおけるLiDAR知覚タスクに対して、比較的未調査のままである。 本研究では,データセット蒸留やコアサブセット選択のタスクに適用したベイズ能動学習手法を評価する。 また,ベイジアンALを用いたデータセット蒸留におけるデータ拡張の適用効果についても検討した。
  論文  参考訳（メタデータ） (2023-02-21T13:56:47Z)
• Dataset Distillation by Matching Training Trajectories [75.9031209877651]
  そこで本研究では,実データと同じような状態にネットワークを誘導するために,蒸留データを最適化する新しい定式化を提案する。 ネットワークが与えられたら、蒸留データを何回か繰り返して訓練し、合成訓練されたパラメータと実データで訓練されたパラメータとの距離に関して蒸留データを最適化する。 本手法は既存の手法よりも優れており,高解像度の視覚データを蒸留することができる。
  論文  参考訳（メタデータ） (2022-03-22T17:58:59Z)
• LiDAR dataset distillation within bayesian active learning framework: Understanding the effect of data augmentation [63.20765930558542]
  アクティブラーニング(AL)は、アノテーションコストとデータセットサイズの削減に対処するため、最近再び注目されている。 本稿では,大規模なセマンティックKITTIデータセットの1/4分の1でALベースのデータセット蒸留を原理的に評価する。 我々は、選択したデータセット構成からのサンプルの60%のみを使用して、データ拡張が完全なデータセット精度を達成することを観察した。
  論文  参考訳（メタデータ） (2022-02-06T00:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。