論文の概要: Improve Noise Tolerance of Robust Loss via Noise-Awareness
- arxiv url: http://arxiv.org/abs/2301.07306v1
- Date: Wed, 18 Jan 2023 04:54:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-19 16:45:01.489510
- Title: Improve Noise Tolerance of Robust Loss via Noise-Awareness
- Title（参考訳）: 雑音認識によるロバスト損失の耐雑音性向上
- Authors: Kehui Ding, Jun Shu, Deyu Meng, Zongben Xu
- Abstract要約: 本稿では,NARL-Adjuster(Noss-Aware-Robust-Loss-Adjuster)と呼ばれるハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。
具体的には、NARL-Adjuster(Noss-Aware-Robust-Loss-Adjuster)と呼ばれるハイパーパラメータ予測関数を適応的に学習できるメタラーニング手法を提案する。
- 参考スコア（独自算出の注目度）: 55.733193075728096
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robust loss minimization is an important strategy for handling robust
learning issue on noisy labels. Current robust losses, however, inevitably
involve hyperparameters to be tuned for different datasets with noisy labels,
manually or heuristically through cross validation, which makes them fairly
hard to be generally applied in practice. Existing robust loss methods usually
assume that all training samples share common hyperparameters, which are
independent of instances. This limits the ability of these methods on
distinguishing individual noise properties of different samples, making them
hardly adapt to different noise structures. To address above issues, we propose
to assemble robust loss with instance-dependent hyperparameters to improve
their noise-tolerance with theoretical guarantee. To achieve setting such
instance-dependent hyperparameters for robust loss, we propose a meta-learning
method capable of adaptively learning a hyperparameter prediction function,
called Noise-Aware-Robust-Loss-Adjuster (NARL-Adjuster). Specifically, through
mutual amelioration between hyperparameter prediction function and classifier
parameters in our method, both of them can be simultaneously finely ameliorated
and coordinated to attain solutions with good generalization capability. Four
kinds of SOTA robust losses are attempted to be integrated with our algorithm,
and experiments substantiate the general availability and effectiveness of the
proposed method in both its noise tolerance and generalization performance.
Meanwhile, the explicit parameterized structure makes the meta-learned
prediction function capable of being readily transferrable and plug-and-play to
unseen datasets with noisy labels. Specifically, we transfer our meta-learned
NARL-Adjuster to unseen tasks, including several real noisy datasets, and
achieve better performance compared with conventional hyperparameter tuning
strategy.
- Abstract（参考訳）: ロバスト損失最小化は、雑音ラベルの堅牢な学習問題を扱うための重要な戦略である。
しかし、現在のロバストな損失は必然的に、ノイズラベルを持つ異なるデータセットに対して、手動またはヒューリスティックにクロス検証によってチューニングされるハイパーパラメータを必要とする。
既存のロバストな損失法は通常、すべてのトレーニングサンプルがインスタンスに依存しない共通のハイパーパラメータを共有していると仮定する。
これにより、異なるサンプルの個々のノイズ特性を識別できるようになり、異なるノイズ構造に適応することができない。
上記の問題に対処するため,我々は,インスタンス依存のハイパーパラメータを用いてロバストな損失を組み立て,理論的な保証によりノイズ耐性を向上させることを提案する。
本研究では,高パラメータ予測関数であるNARL-Adjuster(Noth-Aware-Robust-Loss-Adjuster)を適応的に学習するメタ学習手法を提案する。
具体的には, ハイパーパラメータ予測関数と分類器パラメータの相互改善により, 両者を高精度に改善・調整し, 解の一般化が図れるようにした。
4種類のsotaロバスト損失を本アルゴリズムと統合し,提案手法の耐雑音性能と一般化性能の両方において,提案手法の汎用性と有効性を検証した。
一方、明示的なパラメータ化構造により、メタ学習予測関数は、ノイズのあるラベルを持つ未知のデータセットに簡単に転送でき、プラグアンドプレイできる。
具体的には、メタ学習したNARL-Adjusterを、いくつかの実雑音データセットを含む未知のタスクに転送し、従来のハイパーパラメータチューニング戦略よりも優れたパフォーマンスを実現する。
関連論文リスト
- Robust Learning under Hybrid Noise [24.36707245704713]
本稿では,データリカバリの観点からハイブリッドノイズに対処するため,新たな統合学習フレームワーク"Feature and Label Recovery"(FLR)を提案する。
論文 参考訳（メタデータ） (2024-07-04T16:13:25Z) - ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。
Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
論文 参考訳（メタデータ） (2024-04-05T13:58:51Z) - Inference Stage Denoising for Undersampled MRI Reconstruction [13.8086726938161]
磁気共鳴画像(MRI)データの再構成は、ディープラーニングによって肯定的な影響を受けている。
重要な課題は、トレーニングとテストデータ間の分散シフトへの一般化を改善することだ。
論文 参考訳（メタデータ） (2024-02-12T12:50:10Z) - May the Noise be with you: Adversarial Training without Adversarial
Examples [3.4673556247932225]
我々は、敵の訓練を受けずに敵の訓練を受けたモデルを得ることができるかという疑問を調査する。
提案手法は,訓練時にNNモデルの層にガウス雑音を埋め込むことによって固有性を取り入れる。
我々の研究は、全く異なるアプローチで敵の訓練を受けたネットワークに貢献し、敵の訓練と経験的に類似した堅牢性を持つ。
論文 参考訳（メタデータ） (2023-12-12T08:22:28Z) - Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。
これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。
まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。
次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
論文 参考訳（メタデータ） (2023-05-17T13:56:48Z) - Probabilities Are Not Enough: Formal Controller Synthesis for Stochastic
Dynamical Models with Epistemic Uncertainty [68.00748155945047]
複雑な力学系のモデルにおける不確実性を捉えることは、安全なコントローラの設計に不可欠である。
いくつかのアプローチでは、安全と到達可能性に関する時間的仕様を満たすポリシーを形式的な抽象化を用いて合成する。
我々の貢献は、ノイズ、不確実なパラメータ、外乱を含む連続状態モデルに対する新しい抽象的制御法である。
論文 参考訳（メタデータ） (2022-10-12T07:57:03Z) - Probe incompatibility in multiparameter noisy quantum metrology [0.0]
汎用雑音チャネルにおける複数パラメータの同時推定における最適プローブ不整合性の問題について検討する。
特に、損失のある多重アーム干渉計では、プローブの不整合性はノイズレスのシナリオと同じくらい強いことが示される。
本稿では,エミュランドム量子センシングの概念を導入し,開発したツールを複数のチャネル識別問題に適用する方法を示す。
論文 参考訳（メタデータ） (2021-04-22T18:03:16Z) - Learning to Generate Noise for Multi-Attack Robustness [126.23656251512762]
対人学習は、対人摂動に対する既存の方法の感受性を回避できる手法の1つとして登場した。
安全クリティカルなアプリケーションでは、攻撃者は様々な敵を採用してシステムを騙すことができるため、これらの手法は極端に便利である。
本稿では,複数種類の攻撃に対するモデルの堅牢性を改善するために,ノイズ発生を明示的に学習するメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-22T10:44:05Z) - Learning Adaptive Loss for Robust Learning with Noisy Labels [59.06189240645958]
ロバスト損失は、堅牢な学習問題を扱うための重要な戦略である。
本稿では,強靭なハイパーチューニングが可能なメタ学習手法を提案する。
4種類のSOTA損失関数は, 最小化, 一般利用, 有効性を示す。
論文 参考訳（メタデータ） (2020-02-16T00:53:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。