論文の概要: Compressing Features for Learning with Noisy Labels
- arxiv url: http://arxiv.org/abs/2206.13140v1
- Date: Mon, 27 Jun 2022 09:39:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-28 14:04:52.151141
- Title: Compressing Features for Learning with Noisy Labels
- Title（参考訳）: 雑音ラベルを用いた学習のための圧縮機能
- Authors: Yingyi Chen, Shell Xu Hu, Xi Shen, Chunrong Ai, Johan A.K. Suykens
- Abstract要約: 教師付き学習は、入力データから特徴表現に関連情報を蒸留すると見なすことができる。
最近の研究によると、ネットワークは腐敗しているラベルを含むすべてのラベルに簡単に適合できる。
本稿では,雑音ラベルによる学習の問題に着目し,この過度な問題を軽減するために,圧縮帰納バイアスをネットワークアーキテクチャに導入する。
- 参考スコア（独自算出の注目度）: 22.046933562011088
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Supervised learning can be viewed as distilling relevant information from
input data into feature representations. This process becomes difficult when
supervision is noisy as the distilled information might not be relevant. In
fact, recent research shows that networks can easily overfit all labels
including those that are corrupted, and hence can hardly generalize to clean
datasets. In this paper, we focus on the problem of learning with noisy labels
and introduce compression inductive bias to network architectures to alleviate
this over-fitting problem. More precisely, we revisit one classical
regularization named Dropout and its variant Nested Dropout. Dropout can serve
as a compression constraint for its feature dropping mechanism, while Nested
Dropout further learns ordered feature representations w.r.t. feature
importance. Moreover, the trained models with compression regularization are
further combined with Co-teaching for performance boost.
Theoretically, we conduct bias-variance decomposition of the objective
function under compression regularization. We analyze it for both single model
and Co-teaching. This decomposition provides three insights: (i) it shows that
over-fitting is indeed an issue for learning with noisy labels; (ii) through an
information bottleneck formulation, it explains why the proposed feature
compression helps in combating label noise; (iii) it gives explanations on the
performance boost brought by incorporating compression regularization into
Co-teaching. Experiments show that our simple approach can have comparable or
even better performance than the state-of-the-art methods on benchmarks with
real-world label noise including Clothing1M and ANIMAL-10N. Our implementation
is available at https://yingyichen-cyy.github.io/CompressFeatNoisyLabels/.
- Abstract（参考訳）: 教師付き学習は、入力データから特徴表現に関連情報を蒸留すると見なすことができる。
このプロセスは、蒸留された情報が関係しない可能性があるため、監視が騒がれると困難になる。
事実、最近の研究では、ネットワークは腐敗しているラベルを含む全てのラベルに簡単に適合し、したがって、データセットをクリーンに一般化することができないことが示されている。
本稿では,雑音ラベルによる学習の問題に着目し,この過度な問題を軽減するために,圧縮帰納バイアスをネットワークアーキテクチャに導入する。
より正確には、Dropoutという古典的な正規化と、その変種であるNested Dropoutを再検討する。
ドロップアウトは機能ドロップ機構の圧縮制約として機能し、Nested Dropoutは機能重要度に関する順序付き特徴表現をさらに学習する。
さらに、圧縮正規化を伴うトレーニングモデルと、パフォーマンス向上のためのコティーチングとを組み合わせる。
理論上,圧縮正規化下で対象関数の偏分散分解を行う。
単一モデルと共同学習の両方で分析します。
この分解は3つの洞察を与えます
(i)騒音ラベルの学習において,過度に適合することが問題であることを示す。
(ii)情報ボトルネックの定式化を通じて,提案する特徴圧縮がラベルノイズ対策に役立つ理由を説明する。
(iii)コティーチングに圧縮正規化を組み込むことによる性能向上についての説明を与える。
実験の結果,wears1mやanimal-10nを含む実世界のラベルノイズのベンチマークにおいて,我々のアプローチは最先端の手法と同等,あるいはさらに優れた性能を示すことができた。
私たちの実装はhttps://yingyichen-cyy.github.io/CompressFeatNoisyLabels/で利用可能です。
関連論文リスト
- ERASE: Error-Resilient Representation Learning on Graphs for Label Noise
Tolerance [53.73316938815873]
本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。
ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。
提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
論文 参考訳（メタデータ） (2023-12-13T17:59:07Z) - FedNoisy: Federated Noisy Label Learning Benchmark [53.73816587601204]
フェデレーション学習は、クライアントからの機密データを集約することなく、分散学習で人気を集めている。
データ分離の分散と分離の性質は、データ品質によって複雑になり、ノイズの多いラベルに対してより脆弱になる可能性がある。
私たちは、研究者が潜在的にフェデレートされたノイズ設定を十分に調査するのに役立つ、最初の標準ベンチマークを提供しています。
論文 参考訳（メタデータ） (2023-06-20T16:18:14Z) - Class Prototype-based Cleaner for Label Noise Learning [73.007001454085]
半教師付き学習法は、雑音ラベル学習問題に対する現在のSOTAソリューションである。
textbfClass textbfPrototype-based label textbfCleaner。
論文 参考訳（メタデータ） (2022-12-21T04:56:41Z) - Losses over Labels: Weakly Supervised Learning via Direct Loss
Construction [71.11337906077483]
プログラム可能な弱い監視は、機械学習のパラダイムとして成長している。
ラベルの中間ステップを経由することなく,直接損失を発生させるため,ラベルのロバスト・オーバー・ラベル(Losses over Labels, LoL)を提案する。
いくつかのベンチマークテキストおよび画像分類タスクにおいて、LoLは既存の弱い監督手法を改善していることを示す。
論文 参考訳（メタデータ） (2022-12-13T22:29:14Z) - Learning with Noisy Labels via Sparse Regularization [76.31104997491695]
ノイズの多いラベルで学習することは、正確なディープニューラルネットワークをトレーニングするための重要なタスクである。
クロスエントロピー(Cross Entropy, CE)など、一般的に使われている損失関数は、ノイズラベルへの過度なオーバーフィットに悩まされている。
我々は, スパース正規化戦略を導入し, ワンホット制約を近似する。
論文 参考訳（メタデータ） (2021-07-31T09:40:23Z) - Boosting Co-teaching with Compression Regularization for Label Noise [22.458671973140266]
本稿では,ラベルノイズの存在下での画像分類モデル学習の問題点について検討する。
Nested Dropoutは、もともと高速な情報検索と適応データ圧縮を行うために提案されていたが、ニューラルネットワークを適切に正規化してラベルノイズと戦うことができる。
論文 参考訳（メタデータ） (2021-04-28T13:56:12Z) - Learning from Noisy Labels for Entity-Centric Information Extraction [17.50856935207308]
エンティティ中心の情報抽出のための単純な共正規化フレームワークを提案する。
これらのモデルはタスク固有の損失と共同最適化され、同様の予測を生成するために正規化される。
結局のところ、トレーニングされたモデルのいずれかを推論に利用できます。
論文 参考訳（メタデータ） (2021-04-17T22:49:12Z) - CrowdTeacher: Robust Co-teaching with Noisy Answers & Sample-specific
Perturbations for Tabular Data [8.276156981100364]
コティーチング手法は、ノイズの多いラベルによるコンピュータビジョン問題に対する有望な改善を示している。
我々のモデルであるcrowdteacherは、入力空間モデルのロバスト性がノイズラベルの分類器の摂動を改善することができるという考えを採用している。
合成データと実データの両方でCrowdTeacherを用いて予測能力の向上を示す。
論文 参考訳（メタデータ） (2021-03-31T15:09:38Z) - Tackling Instance-Dependent Label Noise via a Universal Probabilistic
Model [80.91927573604438]
本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。
合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
論文 参考訳（メタデータ） (2021-01-14T05:43:51Z) - Multi-Objective Interpolation Training for Robustness to Label Noise [17.264550056296915]
標準教師付きコントラスト学習はラベル雑音の存在下で劣化することを示す。
コントラスト学習により学習したロバストな特徴表現を利用する新しいラベルノイズ検出手法を提案する。
合成および実世界のノイズベンチマークの実験は、MOIT/MOIT+が最先端の結果を得ることを示した。
論文 参考訳（メタデータ） (2020-12-08T15:01:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。