論文の概要: crowd-hpo: Realistic Hyperparameter Optimization and Benchmarking for Learning from Crowds with Noisy Labels

• arxiv url: http://arxiv.org/abs/2504.09085v1
• Date: Sat, 12 Apr 2025 05:36:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:50:39.001018
• Title: crowd-hpo: Realistic Hyperparameter Optimization and Benchmarking for Learning from Crowds with Noisy Labels
• Title（参考訳）: crowd-hpo: ノイズのあるラベルを持つ群衆から学ぶためのリアルなハイパーパラメータ最適化とベンチマーク
• Authors: Marek Herde, Lukas Lührs, Denis Huseljic, Bernhard Sick,
• Abstract要約: クラウドワークは、クラスラベルを取得するためのコスト効率のよいソリューションである。 群衆から学ぶための様々なアプローチが提案されている。 Crowd-hpoは、現実的なベンチマークおよび実験プロトコルである。
• 参考スコア（独自算出の注目度）: 1.99197168821625
• License:
• Abstract: Crowdworking is a cost-efficient solution to acquire class labels. Since these labels are subject to noise, various approaches to learning from crowds have been proposed. Typically, these approaches are evaluated with default hyperparameters, resulting in suboptimal performance, or with hyperparameters tuned using a validation set with ground truth class labels, representing an often unrealistic scenario. Moreover, both experimental setups can produce different rankings of approaches, complicating comparisons between studies. Therefore, we introduce crowd-hpo as a realistic benchmark and experimentation protocol including hyperparameter optimization under noisy crowd-labeled data. At its core, crowd-hpo investigates model selection criteria to identify well-performing hyperparameter configurations only with access to noisy crowd-labeled validation data. Extensive experimental evaluations with neural networks show that these criteria are effective for optimizing hyperparameters in learning from crowds approaches. Accordingly, incorporating such criteria into experimentation protocols is essential for enabling more realistic and fair benchmarking.
• Abstract（参考訳）: クラウドワークは、クラスラベルを取得するためのコスト効率のよいソリューションである。 これらのラベルはノイズを受けるため、群衆から学ぶための様々なアプローチが提案されている。 通常、これらのアプローチはデフォルトのハイパーパラメータで評価され、その結果、最適以下のパフォーマンスが得られ、あるいは、しばしば非現実的なシナリオを表す、基底真理クラスラベルの検証セットを使用して調整されるハイパーパラメータによって評価される。 さらに、両方の実験的な設定は異なるアプローチのランキングを作成でき、研究間の比較が複雑になる。 そこで我々は,群集ラベルデータに基づくハイパーパラメータ最適化を含む,現実的なベンチマークおよび実験用プロトコルとして,crowd-hpoを導入した。 群集hpoはモデル選択基準を調査し,ノイズの多い群集ラベルによる検証データにのみアクセスして,高性能なハイパーパラメータ構成を同定する。 ニューラルネットワークによる大規模な実験的評価は、これらの基準が群衆のアプローチから学ぶ際のハイパーパラメータの最適化に有効であることを示している。 したがって、より現実的で公正なベンチマークを可能にするためには、このような基準を実験プロトコルに組み込むことが不可欠である。

関連論文リスト

• UNEM: UNrolled Generalized EM for Transductive Few-Shot Learning [35.62208317531141]
  我々は「最適化学習」とも呼ばれるアンロールパラダイムを提唱し紹介する。 我々のアンローリングアプローチは、様々な統計的特徴分布と事前学習パラダイムをカバーしている。 本稿では,下流画像分類作業の細粒度を網羅した包括的実験について報告する。
  論文  参考訳（メタデータ） (2024-12-21T19:01:57Z)
• Investigating the Impact of Hard Samples on Accuracy Reveals In-class Data Imbalance [4.291589126905706]
  AutoMLドメインでは、モデルの有効性を評価するための重要な指標として、テスト精度が宣言される。 しかし、主性能指標としての試験精度の信頼性は疑問視されている。 トレーニングセットとテストセット間のハードサンプルの分布は、これらのセットの難易度に影響を与える。 本稿では,ハードサンプル識別法を比較するためのベンチマーク手法を提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:38:14Z)
• Robust Learning under Hybrid Noise [24.36707245704713]
  本稿では,データリカバリの観点からハイブリッドノイズに対処するため,新たな統合学習フレームワーク"Feature and Label Recovery"(FLR)を提案する。
  論文  参考訳（メタデータ） (2024-07-04T16:13:25Z)
• Foster Adaptivity and Balance in Learning with Noisy Labels [26.309508654960354]
  我々はtextbfSelf-adaptivtextbfE とクラスバランスtextbfD 方式でラベルノイズに対処するための textbfSED という新しい手法を提案する。 平均教師モデルは、ノイズの多いサンプルのラベルを修正するために使用される。 また,検出した雑音に異なる重みを割り当てる自己適応型およびクラスバランスのサンプル再重み付け機構を提案する。
  論文  参考訳（メタデータ） (2024-07-03T03:10:24Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
  本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
  論文  参考訳（メタデータ） (2023-01-18T04:54:58Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• Robustness of Accuracy Metric and its Inspirations in Learning with Noisy Labels [51.66448070984615]
  十分な数の雑音サンプルに対してトレーニング精度を最大化すると,ほぼ最適な分類器が得られることを示す。 検証のために、ノイズの多い検証セットが信頼できることを証明し、モデル選択のクリティカルな要求に対処する。 理論結果に動機づけられて,ノイズラベルをトレーニングしたモデルの特徴付けを行い,ノイズ検証セットの有用性を検証する。
  論文  参考訳（メタデータ） (2020-12-08T03:37:47Z)
• How much progress have we made in neural network training? A New Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
  本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。 評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。 次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
  論文  参考訳（メタデータ） (2020-10-19T21:46:39Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。