論文の概要: Something for (almost) nothing: Improving deep ensemble calibration using unlabeled data

• arxiv url: http://arxiv.org/abs/2310.02885v1
• Date: Wed, 4 Oct 2023 15:21:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 14:27:19.313240
• Title: Something for (almost) nothing: Improving deep ensemble calibration using unlabeled data
• Title（参考訳）: 無意味な何か:ラベルなしデータによる深部アンサンブル校正の改善
• Authors: Konstantinos Pitas, Julyan Arbel
• Abstract要約: 本研究では,未ラベルデータの存在下での訓練データ体制における深層アンサンブルの校正を改善する手法を提案する。 ラベルのない集合が与えられた場合、ラベルのない各データポイントに対して、ランダムに選択された異なるラベルを各アンサンブルメンバーに適合させる。
• 参考スコア（独自算出の注目度）: 4.503508912578133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a method to improve the calibration of deep ensembles in the small training data regime in the presence of unlabeled data. Our approach is extremely simple to implement: given an unlabeled set, for each unlabeled data point, we simply fit a different randomly selected label with each ensemble member. We provide a theoretical analysis based on a PAC-Bayes bound which guarantees that if we fit such a labeling on unlabeled data, and the true labels on the training data, we obtain low negative log-likelihood and high ensemble diversity on testing samples. Empirically, through detailed experiments, we find that for low to moderately-sized training sets, our ensembles are more diverse and provide better calibration than standard ensembles, sometimes significantly.
• Abstract（参考訳）: 本研究では,未ラベルデータの存在下での訓練データ体制における深層アンサンブルの校正を改善する手法を提案する。 ラベルなしのセットが与えられた場合、ラベルなしのデータポイントごとに、異なるランダムに選択されたラベルをアンサンブルメンバーに適合させるだけである。 PAC-Bayesバウンダリに基づく理論的解析を行い、ラベル付けされていないデータとトレーニングデータに真のラベルを適合させると、テストサンプルに低い負のログライクで高いアンサンブルの多様性が得られることを保証した。 実験により,低小から中小のトレーニングセットでは,アンサンブルがより多様で,時折,標準アンサンブルよりも優れた校正を提供することがわかった。

関連論文リスト

• AllMatch: Exploiting All Unlabeled Data for Semi-Supervised Learning [5.0823084858349485]
  提案するSSLアルゴリズムであるAllMatchは,擬似ラベル精度の向上とラベルなしデータの100%利用率の向上を実現する。 その結果、AllMatchは既存の最先端メソッドよりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-06-22T06:59:52Z)
• You can't handle the (dirty) truth: Data-centric insights improve pseudo-labeling [60.27812493442062]
  擬似ラベル法を改善するためにラベル付きデータ品質を調査することが重要であることを示す。 具体的には、擬似ラベルの拡張のために、DIPSと呼ばれる新しいデータキャラクタリゼーションと選択フレームワークを導入する。 本研究では,多種多様な実世界のデータセットを対象とした擬似ラベル手法に対するDIPSの適用性と影響を実証する。
  論文  参考訳（メタデータ） (2024-06-19T17:58:40Z)
• Multi-Label Adaptive Batch Selection by Highlighting Hard and Imbalanced Samples [9.360376286221943]
  本稿では,多ラベル深層学習モデルに適した適応バッチ選択アルゴリズムを提案する。 提案手法は, ランダムなバッチ選択よりも高速に収束し, 性能が向上する。
  論文  参考訳（メタデータ） (2024-03-27T02:00:18Z)
• Soft Curriculum for Learning Conditional GANs with Noisy-Labeled and Uncurated Unlabeled Data [70.25049762295193]
  本稿では,トレーニング中にノイズラベル付きおよび未処理データを受け入れる条件付き画像生成フレームワークを提案する。 本稿では,ラベルのないデータに新たなラベルを割り当てながら,逆行訓練にインスタンスワイドを割り当てるソフトカリキュラム学習を提案する。 実験により,本手法は,定量および定性性能の両面において,既存の半教師付き・ラベル付きロバストな手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-17T08:31:59Z)
• How many labelers do you have? A closer look at gold-standard labels [10.637125300701795]
  我々は、非集約ラベル情報へのアクセスによって、ゴールドスタンダードラベルよりも、トレーニングの適格化がより実現可能であることを示す。 我々は,非アグリゲートラベルが学習性能を改善することを含む,実世界のデータセットの予測を行う。
  論文  参考訳（メタデータ） (2022-06-24T02:33:50Z)
• An analysis of over-sampling labeled data in semi-supervised learning with FixMatch [66.34968300128631]
  ほとんどの半教師付き学習手法は、ミニバッチを訓練する際にラベルをオーバーサンプルする。 本稿では,この実践が学習と方法を改善するかどうかを考察する。 ラベル付けの有無に関わらず、トレーニングデータから各ミニバッチを均一にサンプリングする別の設定と比較する。
  論文  参考訳（メタデータ） (2022-01-03T12:22:26Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)
• Gradient Descent in RKHS with Importance Labeling [58.79085525115987]
  我々は重要ラベル付け問題について研究し、ラベルなしデータが多く与えられている。 ラベルなしデータの情報サブセットを効果的に選択できる新しい重要ラベル方式を提案する。
  論文  参考訳（メタデータ） (2020-06-19T01:55:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。