論文の概要: Something for (almost) nothing: Improving deep ensemble calibration
using unlabeled data
- arxiv url: http://arxiv.org/abs/2310.02885v1
- Date: Wed, 4 Oct 2023 15:21:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 14:27:19.313240
- Title: Something for (almost) nothing: Improving deep ensemble calibration
using unlabeled data
- Title(参考訳): 無意味な何か:ラベルなしデータによる深部アンサンブル校正の改善
- Authors: Konstantinos Pitas, Julyan Arbel
- Abstract要約: 本研究では,未ラベルデータの存在下での訓練データ体制における深層アンサンブルの校正を改善する手法を提案する。
ラベルのない集合が与えられた場合、ラベルのない各データポイントに対して、ランダムに選択された異なるラベルを各アンサンブルメンバーに適合させる。
- 参考スコア(独自算出の注目度): 4.503508912578133
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a method to improve the calibration of deep ensembles in the small
training data regime in the presence of unlabeled data. Our approach is
extremely simple to implement: given an unlabeled set, for each unlabeled data
point, we simply fit a different randomly selected label with each ensemble
member. We provide a theoretical analysis based on a PAC-Bayes bound which
guarantees that if we fit such a labeling on unlabeled data, and the true
labels on the training data, we obtain low negative log-likelihood and high
ensemble diversity on testing samples. Empirically, through detailed
experiments, we find that for low to moderately-sized training sets, our
ensembles are more diverse and provide better calibration than standard
ensembles, sometimes significantly.
- Abstract(参考訳): 本研究では,未ラベルデータの存在下での訓練データ体制における深層アンサンブルの校正を改善する手法を提案する。
ラベルなしのセットが与えられた場合、ラベルなしのデータポイントごとに、異なるランダムに選択されたラベルをアンサンブルメンバーに適合させるだけである。
PAC-Bayesバウンダリに基づく理論的解析を行い、ラベル付けされていないデータとトレーニングデータに真のラベルを適合させると、テストサンプルに低い負のログライクで高いアンサンブルの多様性が得られることを保証した。
実験により,低小から中小のトレーニングセットでは,アンサンブルがより多様で,時折,標準アンサンブルよりも優れた校正を提供することがわかった。
関連論文リスト
- FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness
for Semi-Supervised Learning [73.13448439554497]
Semi-Supervised Learning (SSL) は、ラベル付きデータが極めて少ない豊富なラベル付きデータを活用する効果的な方法である。
ほとんどのSSLメソッドは、通常、異なるデータ変換間のインスタンス単位の一貫性に基づいている。
本研究では,2つのデータセット間の一貫した学習性能を確保するために,クロスシャープネス尺度を最小化するFlatMatchを提案する。
論文 参考訳(メタデータ) (2023-10-25T06:57:59Z) - Soft Curriculum for Learning Conditional GANs with Noisy-Labeled and
Uncurated Unlabeled Data [70.25049762295193]
本稿では,トレーニング中にノイズラベル付きおよび未処理データを受け入れる条件付き画像生成フレームワークを提案する。
本稿では,ラベルのないデータに新たなラベルを割り当てながら,逆行訓練にインスタンスワイドを割り当てるソフトカリキュラム学習を提案する。
実験により,本手法は,定量および定性性能の両面において,既存の半教師付き・ラベル付きロバストな手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-07-17T08:31:59Z) - How many labelers do you have? A closer look at gold-standard labels [11.43020642249583]
非集約的なラベル情報へのアクセスによって、トレーニングが適切に校正されたモデルを簡単にできるか、あるいは、場合によっては、実現可能であるかを示します。
ストーリー全体は微妙で、集約されたラベル情報とフルラベル情報のコントラストは、問題の特定の部分に依存します。
論文 参考訳(メタデータ) (2022-06-24T02:33:50Z) - An analysis of over-sampling labeled data in semi-supervised learning
with FixMatch [66.34968300128631]
ほとんどの半教師付き学習手法は、ミニバッチを訓練する際にラベルをオーバーサンプルする。
本稿では,この実践が学習と方法を改善するかどうかを考察する。
ラベル付けの有無に関わらず、トレーニングデータから各ミニバッチを均一にサンプリングする別の設定と比較する。
論文 参考訳(メタデータ) (2022-01-03T12:22:26Z) - Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。
提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
論文 参考訳(メタデータ) (2021-09-01T23:52:29Z) - Disentangling Sampling and Labeling Bias for Learning in Large-Output
Spaces [64.23172847182109]
異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。
すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
論文 参考訳(メタデータ) (2021-05-12T15:40:13Z) - Gradient Descent in RKHS with Importance Labeling [58.79085525115987]
我々は重要ラベル付け問題について研究し、ラベルなしデータが多く与えられている。
ラベルなしデータの情報サブセットを効果的に選択できる新しい重要ラベル方式を提案する。
論文 参考訳(メタデータ) (2020-06-19T01:55:00Z) - Multi-Label Sampling based on Local Label Imbalance [7.355362369511579]
クラス不均衡は、ほとんどのマルチラベル学習方法を妨げるマルチラベルデータ固有の特徴である。
既存のマルチラベルサンプリングアプローチは、マルチラベルデータセットのグローバル不均衡を軽減する。
実際に、パフォーマンス劣化において重要な役割を果たすマイノリティクラス例の局所的な地区における不均衡レベルである。
論文 参考訳(メタデータ) (2020-05-07T04:14:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。