論文の概要: CSOT: Curriculum and Structure-Aware Optimal Transport for Learning with Noisy Labels

• arxiv url: http://arxiv.org/abs/2312.06221v1
• Date: Mon, 11 Dec 2023 09:12:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 16:16:05.920255
• Title: CSOT: Curriculum and Structure-Aware Optimal Transport for Learning with Noisy Labels
• Title（参考訳）: csot: 騒音ラベル学習のためのカリキュラムと構造認識最適化トランスポート
• Authors: Wanxing Chang, Ye Shi, Jingya Wang
• Abstract要約: ノイズラベル(LNL)による学習は、十分に一般化されたモデルのトレーニングにおいて重要な課題となる。 近年の進歩は、クリーンなラベルと、トレーニングのための破損したラベルを識別することで、印象的なパフォーマンスを実現している。 我々は、CSOT(Curriculum and Structure-Aware Optimal Transport)と呼ばれる新しい最適輸送(OT)の定式化を提案する。
• 参考スコア（独自算出の注目度）: 13.807759089431855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning with noisy labels (LNL) poses a significant challenge in training a well-generalized model while avoiding overfitting to corrupted labels. Recent advances have achieved impressive performance by identifying clean labels and correcting corrupted labels for training. However, the current approaches rely heavily on the model's predictions and evaluate each sample independently without considering either the global and local structure of the sample distribution. These limitations typically result in a suboptimal solution for the identification and correction processes, which eventually leads to models overfitting to incorrect labels. In this paper, we propose a novel optimal transport (OT) formulation, called Curriculum and Structure-aware Optimal Transport (CSOT). CSOT concurrently considers the inter- and intra-distribution structure of the samples to construct a robust denoising and relabeling allocator. During the training process, the allocator incrementally assigns reliable labels to a fraction of the samples with the highest confidence. These labels have both global discriminability and local coherence. Notably, CSOT is a new OT formulation with a nonconvex objective function and curriculum constraints, so it is not directly compatible with classical OT solvers. Here, we develop a lightspeed computational method that involves a scaling iteration within a generalized conditional gradient framework to solve CSOT efficiently. Extensive experiments demonstrate the superiority of our method over the current state-of-the-arts in LNL. Code is available at https://github.com/changwxx/CSOT-for-LNL.
• Abstract（参考訳）: ノイズラベル(lnl)を用いた学習は、ラベルの過度な適合を避けつつ、一般化されたモデルのトレーニングにおいて重要な課題となる。 最近の進歩は、クリーンラベルを識別し、トレーニングのために破損したラベルを修正することで、印象的なパフォーマンスを達成している。 しかし、現在のアプローチはモデルの予測に重きを置き、サンプル分布の全体構造と局所構造を考慮せずに各サンプルを独立に評価する。 これらの制限は、典型的には識別と修正のプロセスに対する準最適解となり、最終的には間違ったラベルに過度に適合するモデルにつながる。 本稿では,Curriculum and Structure-Aware Optimal Transport (CSOT)と呼ばれる新しい最適輸送法を提案する。 CSOTはサンプルの分布内構造と分布内構造を同時に考慮し、頑健で可逆なアロケータを構築する。 トレーニングプロセス中、アロケータは信頼できるラベルを信頼度の高いサンプルのごく一部に段階的に割り当てる。 これらのラベルは、グローバル識別性と局所コヒーレンスの両方を有する。 特にCSOTは、非凸目的関数とカリキュラム制約を持つ新しいOT定式化であり、古典的なOTソルバと直接互換性がない。 本稿では, csotを効率的に解くために, 一般化条件勾配フレームワーク内のスケーリング反復を伴う光速計算法を開発した。 大規模実験により,LNLの最先端技術よりも本手法が優れていることが示された。 コードはhttps://github.com/changwxx/CSOT-for-LNLで入手できる。

関連論文リスト

• Adaptive Integration of Partial Label Learning and Negative Learning for Enhanced Noisy Label Learning [23.847160480176697]
  我々はtextbfNPN というシンプルながら強力なアイデアを提案し,このアイデアは textbfNoisy ラベル学習に革命をもたらす。 我々はNLの全ての非候補ラベルを用いて信頼性の高い補完ラベルを生成し、間接的な監督を通じてモデルロバスト性を高める。 合成劣化データセットと実世界の雑音データセットの両方で実施された実験は、他のSOTA法と比較してNPNの優位性を示している。
  論文  参考訳（メタデータ） (2023-12-15T03:06:19Z)
• Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels [63.16824565919966]
  本稿では,ラベルの修正を伴わずに,混乱したサンプルを積極的に使用することを提案する。 仮想カテゴリー(VC)は、モデルの最適化に安全に貢献できるように、各混乱したサンプルに割り当てられる。 私たちの興味深い発見は、密集した視覚タスクにおけるVC学習の利用に注目しています。
  論文  参考訳（メタデータ） (2023-12-02T16:23:52Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Complementary Labels Learning with Augmented Classes [22.460256396941528]
  補完ラベル学習 (Complementary Labels Learning, CLL) は、プライベート質問分類やオンライン学習など、現実世界の多くのタスクに現れる。 CLLAC(Complementary Labels Learning with Augmented Classs)と呼ばれる新しい問題設定を提案する。 ラベルのないデータを用いて,CLLACの分類リスクの偏りのない推定手法を提案する。
  論文  参考訳（メタデータ） (2022-11-19T13:55:27Z)
• Optimizing Diffusion Rate and Label Reliability in a Graph-Based Semi-supervised Classifier [2.4366811507669124]
  Local and Global Consistency (LGC)アルゴリズムは、グラフベースの半教師付き半教師付き(GSSL)分類器の1つである。 ラベル付きインスタンスの自己影響を取り除くことは、どのように有用か、そして、それがアウト・ワン・アウトエラーにどのように関係するかについて議論する。 本研究では,ラベルの信頼性と拡散率を推定する手法を提案する。
  論文  参考訳（メタデータ） (2022-01-10T16:58:52Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)
• Coping with Label Shift via Distributionally Robust Optimisation [72.80971421083937]
  分散ロバスト最適化(DRO)に基づく目的最小化モデルを提案する。 そこで我々は,提案した目的を最適化するために,大規模問題に適した勾配降下近位ミラー上昇アルゴリズムを設計し,解析する。
  論文  参考訳（メタデータ） (2020-10-23T08:33:04Z)
• Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
  部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。 既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。 本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。