論文の概要: Geometric Median Matching for Robust k-Subset Selection from Noisy Data

• arxiv url: http://arxiv.org/abs/2504.00564v2
• Date: Thu, 03 Apr 2025 11:12:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:55:59.802898
• Title: Geometric Median Matching for Robust k-Subset Selection from Noisy Data
• Title（参考訳）: 雑音データからのロバストkサブセット選択のための幾何学的メディアマッチング
• Authors: Anish Acharya, Sujay Sanghavi, Alexandros G. Dimakis, Inderjit S Dhillon,
• Abstract要約: 最適分解点1/2のロバストな推定器であるGeometric Medianを利用する新しいk-subset選択法を提案する。 提案手法は, k-subset を反復的に選択し,部分集合の平均が(潜在的に)ノイズデータセットの GM に近似し,任意の汚損の下でもロバスト性を確保する。
• 参考スコア（独自算出の注目度）: 75.86423267723728
• License:
• Abstract: Data pruning -- the combinatorial task of selecting a small and representative subset from a large dataset, is crucial for mitigating the enormous computational costs associated with training data-hungry modern deep learning models at scale. Since large scale data collections are invariably noisy, developing data pruning strategies that remain robust even in the presence of corruption is critical in practice. However, existing data pruning methods often fail under high corruption rates due to their reliance on empirical mean estimation, which is highly sensitive to outliers. In response, we propose Geometric Median (GM) Matching, a novel k-subset selection strategy that leverages Geometric Median -- a robust estimator with an optimal breakdown point of 1/2; to enhance resilience against noisy data. Our method iteratively selects a k-subset such that the mean of the subset approximates the GM of the (potentially) noisy dataset, ensuring robustness even under arbitrary corruption. We provide theoretical guarantees, showing that GM Matching enjoys an improved O(1/k) convergence rate -- a quadratic improvement over random sampling, even under arbitrary corruption. Extensive experiments across image classification and image generation tasks demonstrate that GM Matching consistently outperforms existing pruning approaches, particularly in high-corruption settings and at high pruning rates; making it a strong baseline for robust data pruning.
• Abstract（参考訳）: データプルーニング -- 大規模なデータセットから、小さくて代表的なサブセットを選択するための組合せタスクは、データに飢えた現代のディープラーニングモデルを大規模にトレーニングすることに伴う膨大な計算コストを軽減するために不可欠である。 大規模なデータ収集はめったに騒がしいため、汚職があっても頑丈なデータ解析戦略を開発することは、実際は極めて重要である。 しかし、既存のデータプルーニング手法は、実験的な平均推定に依存するため、しばしば高い汚職率で失敗する。 そこで本研究では, 最適分解点1/2の頑健な推定器であるGeometric Median(Geometric Median, Geometric Median, Geometric Median, Geometric Median, GM)を用いた, k-subset選択手法を提案する。 提案手法は, k-subset を反復的に選択し,部分集合の平均が(潜在的に)ノイズデータセットの GM に近似し,任意の汚損の下でもロバスト性を確保する。 我々は、GM MatchingがO(1/k)収束率の改善を享受していることを示す理論的な保証を提供する。 画像分類と画像生成タスクにわたる大規模な実験により、GM Matchingは既存のプルーニングアプローチ、特に高精度なプルーニングと高いプルーニングレートにおいて一貫して優れており、ロバストなデータプルーニングの強力なベースラインとなっている。

関連論文リスト

• Geometric Median (GM) Matching for Robust Data Pruning [29.458270105150564]
  本稿では,雑音のあるデータセットの幾何的中央値に近似した$k$-subsetを求める群れ型グリードアルゴリズムを提案する。 いくつかの人気のあるディープラーニングベンチマークに対する実験は、$gm$ Matchingが従来よりも一貫して改善されていることを示している。
  論文  参考訳（メタデータ） (2024-06-25T00:02:01Z)
• Multigroup Robustness [5.659543670443081]
  各サブポピュレーションに対してロバスト性を保証する多群ロバストアルゴリズムについて検討し,そのサブポピュレーション内のデータ破損量でしか分解しない。 本手法は,マルチグループフェアネスとロバストネスの新たな関係を確立する。
  論文  参考訳（メタデータ） (2024-05-01T16:35:04Z)
• DRoP: Distributionally Robust Data Pruning [11.930434318557156]
  我々は、訓練されたモデルの分類バイアスにデータプルーニングが与える影響について、最初の系統的研究を行う。 そこで我々はDRoPを提案する。DRoPは,標準的なコンピュータビジョンベンチマークにおいて,その性能を実証的に実証し,分散的に頑健な手法である。
  論文  参考訳（メタデータ） (2024-04-08T14:55:35Z)
• CURATRON: Complete and Robust Preference Data for Rigorous Alignment of Large Language Models [1.6339731044538859]
  本稿では,大規模言語モデルと人間の価値観を協調する上での課題について考察する。 本稿では,LLMのレジリエンスを高めるために,堅牢で悪意のあるAIパイプラインデータセットを提案する。
  論文  参考訳（メタデータ） (2024-03-05T07:58:12Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Adversarially robust clustering with optimality guarantees [7.0830450321883935]
  我々はガウス以下の混合系から得られるデータポイントをクラスタリングする問題を考察する。 ロイドアルゴリズムのような最適ラベル誤りを確実に達成する既存の手法は、通常、外れ値に対して脆弱である。 本稿では, 対数外乱が存在する場合でも, 座標中央値に基づく単純なロバストアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-16T17:17:07Z)
• Revisiting Rotation Averaging: Uncertainties and Robust Losses [51.64986160468128]
  現在の手法の主な問題は、推定エピポーラを通して入力データと弱い結合しか持たない最小コスト関数である。 本稿では,点対応から回転平均化への不確実性を直接伝播させることにより,基礎となる雑音分布をモデル化することを提案する。
  論文  参考訳（メタデータ） (2023-03-09T11:51:20Z)
• Characterizing the Optimal 0-1 Loss for Multi-class Classification with a Test-time Attacker [57.49330031751386]
  我々は,任意の離散データセット上の複数クラス分類器に対するテスト時間攻撃の存在下での損失に対する情報理論的下位境界を求める。 本稿では,データと敵対的制約から競合ハイパーグラフを構築する際に発生する最適0-1損失を求めるための一般的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-02-21T15:17:13Z)
• Meta Clustering Learning for Large-scale Unsupervised Person Re-identification [124.54749810371986]
  メタクラスタリング学習(MCL)と呼ばれる「大規模タスクのための小さなデータ」パラダイムを提案する。 MCLは、第1フェーズのトレーニングのためにコンピューティングを節約するためにクラスタリングを介して、未ラベルデータのサブセットを擬似ラベル付けするのみである。 提案手法は計算コストを大幅に削減すると同時に,従来よりも優れた性能を実現している。
  論文  参考訳（メタデータ） (2021-11-19T04:10:18Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。