論文の概要: CNT (Conditioning on Noisy Targets): A new Algorithm for Leveraging
Top-Down Feedback
- arxiv url: http://arxiv.org/abs/2210.09505v1
- Date: Tue, 18 Oct 2022 00:54:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-10-19 13:47:54.094326
- Title: CNT (Conditioning on Noisy Targets): A new Algorithm for Leveraging
Top-Down Feedback
- Title(参考訳): CNT (Conditioning on Noisy Targets): トップダウンフィードバックの活用のための新しいアルゴリズム
- Authors: Alexia Jolicoeur-Martineau, Alex Lamb, Vikas Verma, Aniket Didolkar
- Abstract要約: 雑音目標条件付け(CNT)と呼ばれる教師あり学習のための新しい正規化器を提案する。
このアプローチは、ランダムノイズレベルにおいて、ターゲットのノイズバージョンにモデルを条件付けすることで構成される。
推定時には、ターゲットを知らないため、ノイズのみをターゲットに代えてネットワークを動作させる。
- 参考スコア(独自算出の注目度): 25.964963416932573
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel regularizer for supervised learning called Conditioning on
Noisy Targets (CNT). This approach consists in conditioning the model on a
noisy version of the target(s) (e.g., actions in imitation learning or labels
in classification) at a random noise level (from small to large noise). At
inference time, since we do not know the target, we run the network with only
noise in place of the noisy target. CNT provides hints through the noisy label
(with less noise, we can more easily infer the true target). This give two main
benefits: 1) the top-down feedback allows the model to focus on simpler and
more digestible sub-problems and 2) rather than learning to solve the task from
scratch, the model will first learn to master easy examples (with less noise),
while slowly progressing toward harder examples (with more noise).
- Abstract(参考訳): 本研究では,CNT(Conditioning on Noisy Targets)と呼ばれる教師あり学習のための新しい正規化器を提案する。
このアプローチは、無作為なノイズレベル(小音から大音まで)で、ターゲット(例えば、模倣学習や分類におけるラベルの動作)のノイズバージョンでモデルを条件付けることで成り立っている。
推定時には、ターゲットを知らないので、ノイズの多いターゲットの代わりにノイズだけをネットワークで実行します。
CNTはノイズラベルを通じてヒントを提供する(ノイズが少なくて、真のターゲットをより容易に推測できる)。
主な利点は2つある。
1)トップダウンフィードバックにより、モデルはよりシンプルで消化しやすいサブプロブレムに集中できる。
2) タスクをスクラッチから解くことを学ぶのではなく、まず簡単な例(ノイズが少ない)を習得し、より難しい例(ノイズが多い)に向かってゆっくりと進みます。
関連論文リスト
- How Does Label Noise Gradient Descent Improve Generalization in the Low SNR Regime? [78.0226274470175]
我々は、勾配更新にラベルノイズを導入することで、ニューラルネットワーク(NN)のテスト性能が向上するかどうか検討する。
学習中のラベルノイズの付加は,学習過程を支配することを防止し,雑音の記憶を抑制することを実証する。
対照的に、標準GDで訓練されたNNは、同じ低SNR環境でのノイズに過度に適応する傾向にある。
論文 参考訳(メタデータ) (2025-10-20T13:28:13Z) - Mixture of Noise for Pre-Trained Model-Based Class-Incremental Learning [59.635264288605946]
クラスインクリメンタルラーニング(CIL)は,旧来の知識を維持しつつ,新たなカテゴリを継続的に学習することを目的としている。
バックボーンに軽量な微調整を適用する既存のアプローチは、依然としてドリフトを誘発する。
バックボーン一般化の劣化を軽減し,新しいタスクを適応させることを目的として,Mixture of Noise (Min)を提案する。
論文 参考訳(メタデータ) (2025-09-20T16:07:20Z) - RANA: Robust Active Learning for Noisy Network Alignment [15.699177589917044]
ノイズの多いネットワークアライメントのためのロバスト能動学習フレームワークであるRANAを提案する。
RANAは、アンカーリンクアノテーションの幅に対処しながら、構造ノイズとラベルノイズの両方に効果的に取り組む。
RANAはアライメント精度において最先端の能動的学習法よりも優れていることを示す。
論文 参考訳(メタデータ) (2025-07-30T07:26:40Z) - Noise-Tolerant Coreset-Based Class Incremental Continual Learning [0.6486052012623045]
本研究は、CIL(Class-Incremental Learning)におけるラベルノイズとインスタンスノイズに焦点を当てている。
一般的な加法的雑音脅威モデルの下で,非相関なインスタンスノイズに対する手法の頑健性に対する新たな境界を導出する。
既存のメモリベースCLはロバストではないが,提案手法は分類精度の最大化に有意な改善を示す。
論文 参考訳(メタデータ) (2025-04-23T14:34:20Z) - Active Learning with a Noisy Annotator [13.272510644778105]
ノイズ対応アクティブサンプリング(NAS)と呼ばれる新しいフレームワークを提案する。
NASは、ノイズの多い代表者の選択により発見されていない領域を特定し、これらの領域の再サンプリングを可能にする。
NASは、様々なノイズタイプとレートで標準的なアクティブラーニング手法の性能を著しく向上させる。
論文 参考訳(メタデータ) (2025-04-06T14:27:27Z) - Enhance Vision-Language Alignment with Noise [59.2608298578913]
本研究では,凍結モデルがカスタマイズノイズによって微調整可能であるか検討する。
ビジュアルエンコーダとテキストエンコーダの両方にノイズを注入することでCLIPを微調整できる正インセンティブノイズ(PiNI)を提案する。
論文 参考訳(メタデータ) (2024-12-14T12:58:15Z) - One-step Noisy Label Mitigation [86.57572253460125]
ノイズラベルのトレーニング過程に対する有害な影響の軽減がますます重要になっている。
モデルに依存しないノイズラベル緩和パラダイムである1ステップアンチノイズ(OSA)を提案する。
我々はOSAの優位性を実証的に実証し、トレーニングの堅牢性の向上、タスク転送性の向上、デプロイメントの容易性、計算コストの削減を強調した。
論文 参考訳(メタデータ) (2024-10-02T18:42:56Z) - Latent Class-Conditional Noise Model [54.56899309997246]
本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。
次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。
提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
論文 参考訳(メタデータ) (2023-02-19T15:24:37Z) - Positive-incentive Noise [91.3755431537592]
騒音は様々な分野、例えば工学や学習システムにおいて深刻な問題と見なされている。
本稿では,従来の提案が常に成立するかどうかを検討することを目的とする。
$pi$-noiseは、いくつかのモデルに新しい説明を提供し、マルチタスク学習や逆トレーニングなど、いくつかの分野に新しい原則を提供する。
論文 参考訳(メタデータ) (2022-12-19T15:33:34Z) - Identifying Hard Noise in Long-Tailed Sample Distribution [76.16113794808001]
NLT(Noisy Long-Tailed Classification)を紹介する。
ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。
我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
論文 参考訳(メタデータ) (2022-07-27T09:03:03Z) - Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。
本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
論文 参考訳(メタデータ) (2021-06-21T07:15:50Z) - Training Classifiers that are Universally Robust to All Label Noise
Levels [91.13870793906968]
ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。
ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。
我々の枠組みは概して中~高騒音レベルにおいて優れています。
論文 参考訳(メタデータ) (2021-05-27T13:49:31Z) - LongReMix: Robust Learning with High Confidence Samples in a Noisy Label
Environment [33.376639002442914]
新しい2段ノイズラベルトレーニングアルゴリズムLongReMixを提案します。
CIFAR-10, CIFAR-100, WebVision, Clothing1M, Food101-NでLongReMixを試験した。
私たちのアプローチは、ほとんどのデータセットで最先端のパフォーマンスを実現します。
論文 参考訳(メタデータ) (2021-03-06T18:48:40Z) - Towards Robustness to Label Noise in Text Classification via Noise
Modeling [7.863638253070439]
NLPの大規模なデータセットは、誤った自動および人間のアノテーション手順のために、ノイズの多いラベルに悩まされる。
本稿では,ラベルノイズを用いたテキスト分類の問題について検討し,分類器上での補助雑音モデルを用いてこのノイズを捉えることを目的とする。
論文 参考訳(メタデータ) (2021-01-27T05:41:57Z) - Towards Noise-resistant Object Detection with Noisy Annotations [119.63458519946691]
ディープオブジェクト検出器の訓練には、正確なオブジェクトラベルとバウンディングボックス座標を持つ、相当量の人間の注釈画像が必要である。
ノイズの多いアノテーションはずっと簡単にアクセスできますが、学習には有害かもしれません。
ノイズにはラベルノイズとバウンディングボックスノイズが混在している。
論文 参考訳(メタデータ) (2020-03-03T01:32:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。