論文の概要: Relation Modeling and Distillation for Learning with Noisy Labels
- arxiv url: http://arxiv.org/abs/2405.19606v2
- Date: Sun, 2 Jun 2024 01:59:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 13:40:18.767067
- Title: Relation Modeling and Distillation for Learning with Noisy Labels
- Title（参考訳）: 雑音ラベルを用いた学習のための関係モデリングと蒸留
- Authors: Xiaming Che, Junlin Zhang, Zhuang Qi, Xin Qi,
- Abstract要約: 本稿では,自己教師型学習を通して,サンプル間の関係をモデル化する関係モデリングと蒸留の枠組みを提案する。
提案手法は,ノイズの多いデータに対する識別表現を学習し,既存の手法よりも優れた性能を実現する。
- 参考スコア（独自算出の注目度）: 4.556974104115929
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning with noisy labels has become an effective strategy for enhancing the robustness of models, which enables models to better tolerate inaccurate data. Existing methods either focus on optimizing the loss function to mitigate the interference from noise, or design procedures to detect potential noise and correct errors. However, their effectiveness is often compromised in representation learning due to the dilemma where models overfit to noisy labels. To address this issue, this paper proposes a relation modeling and distillation framework that models inter-sample relationships via self-supervised learning and employs knowledge distillation to enhance understanding of latent associations, which mitigate the impact of noisy labels. Specifically, the proposed method, termed RMDNet, includes two main modules, where the relation modeling (RM) module implements the contrastive learning technique to learn representations of all data, an unsupervised approach that effectively eliminates the interference of noisy tags on feature extraction. The relation-guided representation learning (RGRL) module utilizes inter-sample relation learned from the RM module to calibrate the representation distribution for noisy samples, which is capable of improving the generalization of the model in the inference phase. Notably, the proposed RMDNet is a plug-and-play framework that can integrate multiple methods to its advantage. Extensive experiments were conducted on two datasets, including performance comparison, ablation study, in-depth analysis and case study. The results show that RMDNet can learn discriminative representations for noisy data, which results in superior performance than the existing methods.
- Abstract（参考訳）: ノイズの多いラベルによる学習は、モデルの堅牢性を高める効果的な戦略となり、モデルが不正確なデータをよりよく許容することを可能にする。
既存の手法では、ノイズからの干渉を軽減するために損失関数を最適化することに注力するか、潜在的なノイズを検出し、誤りを正すための設計手順を設計する。
しかし、それらの効果は、モデルがノイズの多いラベルに過度に適合するジレンマのため、表現学習においてしばしば損なわれる。
そこで,本稿では,自己教師型学習によるサンプル間関係のモデル化と,雑音ラベルの影響を緩和する潜伏関係の理解を深めるため,知識蒸留を用いた関係モデリングと蒸留フレームワークを提案する。
具体的には、RMDNetと呼ばれる提案手法は、関係モデリング(RM)モジュールが、特徴抽出におけるノイズタグの干渉を効果的に排除する教師なしアプローチである、すべてのデータの表現を学習するためのコントラスト学習技術を実装する2つの主要なモジュールを含む。
リレーショナル誘導表現学習(RGRL)モジュールは、RMモジュールから学習したサンプル間関係を利用してノイズサンプルの表現分布を校正し、推論フェーズにおけるモデルの一般化を改善する。
特に、提案されているRDDNetは、複数のメソッドをその利点のために統合できるプラグイン・アンド・プレイのフレームワークである。
性能比較,アブレーション研究,深部分析,ケーススタディの2つのデータセットで実験を行った。
その結果, RMDNetはノイズの多いデータに対する識別表現を学習でき, 既存の手法よりも優れた性能が得られることがわかった。
関連論文リスト
- An Information Compensation Framework for Zero-Shot Skeleton-based Action Recognition [49.45660055499103]
ゼロショットの人間の骨格に基づく行動認識は、トレーニング中に見られるカテゴリ外の行動を認識するモデルを構築することを目的としている。
従来の研究では、シーケンスの視覚的空間分布と意味的空間分布の整合性に焦点が当てられていた。
強固で頑健な表現を得るために,新たな損失関数サンプリング手法を提案する。
論文 参考訳（メタデータ） (2024-06-02T06:53:01Z) - Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。
それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。
モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-31T08:19:44Z) - Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。
効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。
本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
論文 参考訳（メタデータ） (2024-01-18T08:12:23Z) - ProcSim: Proxy-based Confidence for Robust Similarity Learning [0.6963971634605796]
一般的なベンチマークデータセットには多くの間違ったラベルが含まれており、DMLメソッドはそれらに影響を受けやすいことを示す。
現実的なノイズの効果を研究するために、データセット内のクラスのオントロジーを作成し、それを意味論的に一貫性のあるラベル付けミスをシミュレートする。
頑健なDMLモデルをトレーニングするために,クラス代表に対して正規化距離を用いて各サンプルに信頼スコアを割り当てるフレームワークであるProcSimを提案する。
論文 参考訳（メタデータ） (2023-11-01T17:17:14Z) - Improving the Robustness of Summarization Models by Detecting and
Removing Input Noise [50.27105057899601]
本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。
本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
論文 参考訳（メタデータ） (2022-12-20T00:33:11Z) - Discriminator-Guided Model-Based Offline Imitation Learning [11.856949845359853]
オフライン模倣学習(英: offline mimicion learning, IL)は、報酬ラベルなしで専門家によるデモンストレーションから意思決定問題を解決する強力な手法である。
本稿では,モデルロールアウトデータの動的正当性と準最適性を同時に識別する識別器を導入する,識別器誘導型モデルベースオフライン学習(DMIL)フレームワークを提案する。
実験結果から,DMILとその拡張は,小規模なデータセット下での最先端のオフラインIL法と比較して,優れた性能とロバスト性が得られることが示された。
論文 参考訳（メタデータ） (2022-07-01T07:28:18Z) - Noise-Tolerant Learning for Audio-Visual Action Recognition [31.641972732424463]
ビデオデータセットは通常、粗い注釈付きまたはインターネットから収集される。
本稿では,雑音ラベルと雑音対応の両方に対して,反干渉モデルパラメータを求めるための耐雑音性学習フレームワークを提案する。
本手法は,動作認識モデルのロバスト性を大幅に向上し,ベースラインをクリアマージンで越える。
論文 参考訳（メタデータ） (2022-05-16T12:14:03Z) - Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
適応的階層的類似度メトリック学習法を提案する。
ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。
提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2021-10-29T02:12:18Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-31T23:46:32Z) - Learning Noise-Aware Encoder-Decoder from Noisy Labels by Alternating
Back-Propagation for Saliency Detection [54.98042023365694]
本稿では,ノイズを考慮したエンコーダ・デコーダ・フレームワークを提案する。
提案モデルはニューラルネットワークによってパラメータ化された2つのサブモデルから構成される。
論文 参考訳（メタデータ） (2020-07-23T18:47:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。