Fugu-MT 論文翻訳(概要): Mitigating Class Boundary Label Uncertainty to Reduce Both Model Bias and Variance

論文の概要: Mitigating Class Boundary Label Uncertainty to Reduce Both Model Bias and Variance

arxiv url: http://arxiv.org/abs/2002.09963v1
Date: Sun, 23 Feb 2020 18:24:04 GMT
ステータス: 処理完了
システム内更新日: 2022-12-29 09:31:01.665250
Title: Mitigating Class Boundary Label Uncertainty to Reduce Both Model Bias and Variance
Title（参考訳）: モデルバイアスと変数の低減のためのクラス境界ラベルの不確かさの軽減
Authors: Matthew Almeida, Wei Ding, Scott Crouter, Ping Chen
Abstract要約: トレーニングデータラベルの不正確性と不確実性に対処する新しい手法について検討する。本手法は,トレーニングセットのポイントワイドラベルの不確かさを推定することにより,バイアスと分散の両面を低減できる。
参考スコア（独自算出の注目度）: 4.563176550691304
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: The study of model bias and variance with respect to decision boundaries is critically important in supervised classification. There is generally a tradeoff between the two, as fine-tuning of the decision boundary of a classification model to accommodate more boundary training samples (i.e., higher model complexity) may improve training accuracy (i.e., lower bias) but hurt generalization against unseen data (i.e., higher variance). By focusing on just classification boundary fine-tuning and model complexity, it is difficult to reduce both bias and variance. To overcome this dilemma, we take a different perspective and investigate a new approach to handle inaccuracy and uncertainty in the training data labels, which are inevitable in many applications where labels are conceptual and labeling is performed by human annotators. The process of classification can be undermined by uncertainty in the labels of the training data; extending a boundary to accommodate an inaccurately labeled point will increase both bias and variance. Our novel method can reduce both bias and variance by estimating the pointwise label uncertainty of the training set and accordingly adjusting the training sample weights such that those samples with high uncertainty are weighted down and those with low uncertainty are weighted up. In this way, uncertain samples have a smaller contribution to the objective function of the model's learning algorithm and exert less pull on the decision boundary. In a real-world physical activity recognition case study, the data presents many labeling challenges, and we show that this new approach improves model performance and reduces model variance.
Abstract（参考訳）: 決定境界に関するモデルバイアスと分散の研究は教師付き分類において極めて重要である。より多くの境界トレーニングサンプル(すなわち、より高いモデル複雑さ)に対応するための分類モデルの決定境界の微調整は、トレーニング精度(すなわち、低いバイアス)を改善するが、目に見えないデータ(すなわち、高い分散)に対する一般化を損なう。分類境界の微調整とモデルの複雑さにのみ焦点を合わせることで、バイアスと分散の両方を減らすことは困難である。このジレンマを克服するために、我々は異なる視点を採り、トレーニングデータラベルの不正確さと不確実性を扱う新しいアプローチについて検討する。トレーニングデータのラベルの不確実性によって分類のプロセスが損なわれ、不正確なラベル付き点に対応する境界を延長することはバイアスと分散の両方を増大させる。本手法は,トレーニングセットの点ラベル不確かさを推定し,不確実度の高いサンプルを重み付けし,不確実性の低いサンプルを重み付けするようにトレーニングサンプル重み付けを調整することにより,バイアスと分散の両方を低減できる。このように、不確実なサンプルは、モデルの学習アルゴリズムの目的関数に対してより小さい寄与を持ち、決定境界へのプルが少ない。実世界の身体活動認識ケーススタディにおいて、このデータはラベル付けの課題を多く提示し、この新しい手法がモデル性能を改善し、モデルの分散を低減することを示す。

関連論文リスト

Learning Confidence Bounds for Classification with Imbalanced Data [42.690254618937196]
本稿では,学習理論と集中不等式を利用して従来のソリューションの欠点を克服する新しい枠組みを提案する。本手法は, クラスごとに異なる不均衡度に効果的に適応できるため, より堅牢で信頼性の高い分類結果が得られる。
論文参考訳（メタデータ） (2024-07-16T16:02:27Z)
Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文参考訳（メタデータ） (2024-03-01T03:27:08Z)
Uncertainty-aware Sampling for Long-tailed Semi-supervised Learning [89.98353600316285]
擬似ラベルサンプリングのモデル化プロセスに不確実性を導入し、各クラスにおけるモデル性能が異なる訓練段階によって異なることを考慮した。このアプローチにより、モデルは異なる訓練段階における擬似ラベルの不確かさを認識でき、それによって異なるクラスの選択閾値を適応的に調整できる。 FixMatchのような他の手法と比較して、UDTSは自然シーン画像データセットの精度を少なくとも5.26%、1.75%、9.96%、1.28%向上させる。
論文参考訳（メタデータ） (2024-01-09T08:59:39Z)
Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning [59.44422468242455]
そこで我々はShrinkMatchと呼ばれる新しい手法を提案し、不確実なサンプルを学習する。それぞれの不確実なサンプルに対して、元の Top-1 クラスを単に含むスランク類空間を適応的に求める。次に、スランク空間における強と弱に強化された2つのサンプル間の整合正則化を課し、識別的表現を試みます。
論文参考訳（メタデータ） (2023-08-13T14:05:24Z)
Semi-Supervised Deep Regression with Uncertainty Consistency and Variational Model Ensembling via Bayesian Neural Networks [31.67508478764597]
我々は,半教師付き回帰,すなわち不確実連続変分モデル組立(UCVME)に対する新しいアプローチを提案する。整合性損失は不確実性評価を著しく改善し,不整合回帰の下では,高品質な擬似ラベルをより重要視することができる。実験の結果,本手法は様々なタスクにおける最先端の代替手段よりも優れており,フルラベルを用いた教師付き手法と競合する可能性が示唆された。
論文参考訳（メタデータ） (2023-02-15T10:40:51Z)
SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文参考訳（メタデータ） (2023-01-26T03:53:25Z)
Post-hoc Uncertainty Learning using a Dirichlet Meta-Model [28.522673618527417]
本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
論文参考訳（メタデータ） (2022-12-14T17:34:11Z)
X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文参考訳（メタデータ） (2021-10-09T13:56:48Z)
Unsupervised Embedding Learning from Uncertainty Momentum Modeling [37.674449317054716]
本研究では,与えられた未ラベル学習サンプルの不確かさを明示的にモデル化し,探索する新しい手法を提案する。このような不確実性モデリングのモーメントを学習に利用し、アウトレーヤに取り組むのに役立ちます。
論文参考訳（メタデータ） (2021-07-19T14:06:19Z)
Minimax Active Learning [61.729667575374606]
アクティブラーニングは、人間のアノテーションによってラベル付けされる最も代表的なサンプルをクエリすることによって、ラベル効率の高いアルゴリズムを開発することを目指している。現在のアクティブラーニング技術は、最も不確実なサンプルを選択するためにモデルの不確実性に頼るか、クラスタリングを使うか、最も多様なラベルのないサンプルを選択するために再構築する。我々は,不確実性と多様性を両立させる半教師付きミニマックスエントロピーに基づく能動学習アルゴリズムを開発した。
論文参考訳（メタデータ） (2020-12-18T19:03:40Z)
Identifying Wrongly Predicted Samples: A Method for Active Learning [6.976600214375139]
本稿では,不確実性を超えた単純なサンプル選択基準を提案する。予測されたサンプルを正しく識別するために、最先端の結果とより良いレートを示す。
論文参考訳（メタデータ） (2020-10-14T09:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。