論文の概要: Robust Online Classification: From Estimation to Denoising
- arxiv url: http://arxiv.org/abs/2309.01698v1
- Date: Mon, 4 Sep 2023 16:17:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 17:52:17.793009
- Title: Robust Online Classification: From Estimation to Denoising
- Title(参考訳): ロバストオンライン分類:見積もりからデノイングへ
- Authors: Changlong Wu, Ananth Grama, Wojciech Szpankowski
- Abstract要約: ノイズラベルの存在下でのオンライン分類について検討する。
本研究では, 幅広い自然雑音カーネル, 逆選択された特徴, 有限クラスラベリング関数に対して, ミニマックスリスクは時間的地平線に依存しない上界化可能であることを示す。
- 参考スコア(独自算出の注目度): 16.336539657286266
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study online classification in the presence of noisy labels. The noise
mechanism is modeled by a general kernel that specifies, for any feature-label
pair, a (known) set of distributions over noisy labels. At each time step, an
adversary selects an unknown distribution from the distribution set specified
by the kernel based on the actual feature-label pair, and generates the noisy
label from the selected distribution. The learner then makes a prediction based
on the actual features and noisy labels observed thus far, and incurs loss $1$
if the prediction differs from the underlying truth (and $0$ otherwise). The
prediction quality is quantified through minimax risk, which computes the
cumulative loss over a finite horizon $T$. We show that for a wide range of
natural noise kernels, adversarially selected features, and finite class of
labeling functions, minimax risk can be upper bounded independent of the time
horizon and logarithmic in the size of labeling function class. We then extend
these results to inifinite classes and stochastically generated features via
the concept of stochastic sequential covering. Our results extend and encompass
findings of Ben-David et al. (2009) through substantial generality, and provide
intuitive understanding through a novel reduction to online conditional
distribution estimation.
- Abstract(参考訳): ノイズラベルの存在下でのオンライン分類について検討する。
ノイズ機構は、任意の特徴ラベル対に対してノイズラベル上の(既知の)分布の集合を指定する一般的なカーネルによってモデル化される。
各タイミングステップにおいて、敵は、実際の特徴ラベル対に基づいてカーネルが指定した分布セットから未知の分布を選択し、選択した分布からノイズラベルを生成する。
学習者は、これまでに観測された実際の特徴とノイズラベルに基づいて予測を行い、その予測が基礎となる真実と異なる場合(そうでなければ0ドル)に損失1ドルを発生させる。
予測品質はミニマックスリスクによって定量化され、有限地平線上の累積損失を$T$で計算する。
本研究では, 幅広い自然雑音カーネル, 逆選択された特徴, 有限種類のラベル付け関数に対して, 最小限のリスクは, 時間的地平線と対数的に依存しない上限値となることを示す。
その後、確率的シーケンシャル被覆という概念を通じて、これらの結果を無限クラスや確率的に生成される特徴に拡張する。
本結果は,Ben-David et al. (2009) の発見を実質的な一般化を通じて拡張・包括し,オンライン条件分布推定への新たな還元を通じて直感的な理解を提供する。
関連論文リスト
- Partial Label Supervision for Agnostic Generative Noisy Label Learning [18.29334728940232]
ノイズラベル学習は差別的アプローチと生成的アプローチの両方に取り組んできた。
本稿では,これらの課題に対処する生成ノイズラベル学習のための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2023-08-02T14:48:25Z) - Label-Retrieval-Augmented Diffusion Models for Learning from Noisy
Labels [61.97359362447732]
ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。
本稿では,生成モデルの観点からラベルノイズ問題を再構成する。
我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
論文 参考訳(メタデータ) (2023-05-31T03:01:36Z) - Dist-PU: Positive-Unlabeled Learning from a Label Distribution
Perspective [89.5370481649529]
本稿では,PU学習のためのラベル分布視点を提案する。
そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。
提案手法の有効性を3つのベンチマークデータセットで検証した。
論文 参考訳(メタデータ) (2022-12-06T07:38:29Z) - Lifting Weak Supervision To Structured Prediction [12.219011764895853]
弱監督 (WS) は、容易に得られるがノイズの多いラベル推定を集約することで擬似ラベルを生成する、豊富な手法のセットである。
擬ユークリッド埋め込みとテンソル分解に基づく弱監督手法を提案する。
ノイズのあるラベルを持つ構造化予測において頑健性を保証するとみなすこの結果のいくつかは、独立した関心事である可能性がある。
論文 参考訳(メタデータ) (2022-11-24T02:02:58Z) - Tackling Instance-Dependent Label Noise with Dynamic Distribution
Calibration [18.59803726676361]
インスタンスに依存したラベルノイズは現実的だが、ラベルの破損プロセスはインスタンスに直接依存する。
これは、トレーニングの分布とテストデータの間に深刻な分布シフトを引き起こし、訓練されたモデルの一般化を損なう。
本稿では,インスタンス依存ラベル雑音を用いた学習における分布変化に対処するために,動的分布校正戦略を採用する。
論文 参考訳(メタデータ) (2022-10-11T03:50:52Z) - Robustness to Label Noise Depends on the Shape of the Noise Distribution
in Feature Space [6.748225062396441]
騒音分布の規模と形状が後部確率に影響を及ぼすことを示す。
雑音分布が決定境界を目標とする場合、小さなノイズであっても、分類ロバスト性は低下しうることを示す。
論文 参考訳(メタデータ) (2022-06-02T15:41:59Z) - S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
本稿では,ラベルノイズの存在下での分類の問題に対処する。
提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。
提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
論文 参考訳(メタデータ) (2021-11-22T15:49:20Z) - Instance-dependent Label-noise Learning under a Structural Causal Model [92.76400590283448]
ラベルノイズはディープラーニングアルゴリズムの性能を劣化させる。
構造因果モデルを活用することにより,実例依存型ラベルノイズ学習のための新しい生成手法を提案する。
論文 参考訳(メタデータ) (2021-09-07T10:42:54Z) - A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。
人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
論文 参考訳(メタデータ) (2020-12-22T06:36:58Z) - Minimax Active Learning [61.729667575374606]
アクティブラーニングは、人間のアノテーションによってラベル付けされる最も代表的なサンプルをクエリすることによって、ラベル効率の高いアルゴリズムを開発することを目指している。
現在のアクティブラーニング技術は、最も不確実なサンプルを選択するためにモデルの不確実性に頼るか、クラスタリングを使うか、最も多様なラベルのないサンプルを選択するために再構築する。
我々は,不確実性と多様性を両立させる半教師付きミニマックスエントロピーに基づく能動学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2020-12-18T19:03:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。