論文の概要: Improve Noise Tolerance of Robust Loss via Noise-Awareness
- arxiv url: http://arxiv.org/abs/2301.07306v1
- Date: Wed, 18 Jan 2023 04:54:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-19 16:45:01.489510
- Title: Improve Noise Tolerance of Robust Loss via Noise-Awareness
- Title(参考訳): 雑音認識によるロバスト損失の耐雑音性向上
- Authors: Kehui Ding, Jun Shu, Deyu Meng, Zongben Xu
- Abstract要約: 本稿では,NARL-Adjuster(Noss-Aware-Robust-Loss-Adjuster)と呼ばれるハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。
具体的には、NARL-Adjuster(Noss-Aware-Robust-Loss-Adjuster)と呼ばれるハイパーパラメータ予測関数を適応的に学習できるメタラーニング手法を提案する。
- 参考スコア(独自算出の注目度): 55.733193075728096
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robust loss minimization is an important strategy for handling robust
learning issue on noisy labels. Current robust losses, however, inevitably
involve hyperparameters to be tuned for different datasets with noisy labels,
manually or heuristically through cross validation, which makes them fairly
hard to be generally applied in practice. Existing robust loss methods usually
assume that all training samples share common hyperparameters, which are
independent of instances. This limits the ability of these methods on
distinguishing individual noise properties of different samples, making them
hardly adapt to different noise structures. To address above issues, we propose
to assemble robust loss with instance-dependent hyperparameters to improve
their noise-tolerance with theoretical guarantee. To achieve setting such
instance-dependent hyperparameters for robust loss, we propose a meta-learning
method capable of adaptively learning a hyperparameter prediction function,
called Noise-Aware-Robust-Loss-Adjuster (NARL-Adjuster). Specifically, through
mutual amelioration between hyperparameter prediction function and classifier
parameters in our method, both of them can be simultaneously finely ameliorated
and coordinated to attain solutions with good generalization capability. Four
kinds of SOTA robust losses are attempted to be integrated with our algorithm,
and experiments substantiate the general availability and effectiveness of the
proposed method in both its noise tolerance and generalization performance.
Meanwhile, the explicit parameterized structure makes the meta-learned
prediction function capable of being readily transferrable and plug-and-play to
unseen datasets with noisy labels. Specifically, we transfer our meta-learned
NARL-Adjuster to unseen tasks, including several real noisy datasets, and
achieve better performance compared with conventional hyperparameter tuning
strategy.
- Abstract(参考訳): ロバスト損失最小化は、雑音ラベルの堅牢な学習問題を扱うための重要な戦略である。
しかし、現在のロバストな損失は必然的に、ノイズラベルを持つ異なるデータセットに対して、手動またはヒューリスティックにクロス検証によってチューニングされるハイパーパラメータを必要とする。
既存のロバストな損失法は通常、すべてのトレーニングサンプルがインスタンスに依存しない共通のハイパーパラメータを共有していると仮定する。
これにより、異なるサンプルの個々のノイズ特性を識別できるようになり、異なるノイズ構造に適応することができない。
上記の問題に対処するため,我々は,インスタンス依存のハイパーパラメータを用いてロバストな損失を組み立て,理論的な保証によりノイズ耐性を向上させることを提案する。
本研究では,高パラメータ予測関数であるNARL-Adjuster(Noth-Aware-Robust-Loss-Adjuster)を適応的に学習するメタ学習手法を提案する。
具体的には, ハイパーパラメータ予測関数と分類器パラメータの相互改善により, 両者を高精度に改善・調整し, 解の一般化が図れるようにした。
4種類のsotaロバスト損失を本アルゴリズムと統合し,提案手法の耐雑音性能と一般化性能の両方において,提案手法の汎用性と有効性を検証した。
一方、明示的なパラメータ化構造により、メタ学習予測関数は、ノイズのあるラベルを持つ未知のデータセットに簡単に転送でき、プラグアンドプレイできる。
具体的には、メタ学習したNARL-Adjusterを、いくつかの実雑音データセットを含む未知のタスクに転送し、従来のハイパーパラメータチューニング戦略よりも優れたパフォーマンスを実現する。
関連論文リスト
- Inference Stage Denoising for Undersampled MRI Reconstruction [13.8086726938161]
磁気共鳴画像(MRI)データの再構成は、ディープラーニングによって肯定的な影響を受けている。
重要な課題は、トレーニングとテストデータ間の分散シフトへの一般化を改善することだ。
論文 参考訳(メタデータ) (2024-02-12T12:50:10Z) - Causal Discovery under Identifiable Heteroscedastic Noise Model [50.23769985430187]
因果DAG学習は、最近精度と効率の両面で有望な性能を達成した。
本稿では,変数間のノイズ分散の変動を考慮したDAG学習のための新しい定式化を提案する。
次に、最適化の難しさに対処する効果的な2相反復DAG学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-12-20T08:51:58Z) - May the Noise be with you: Adversarial Training without Adversarial
Examples [3.4673556247932225]
我々は、敵の訓練を受けずに敵の訓練を受けたモデルを得ることができるかという疑問を調査する。
提案手法は,訓練時にNNモデルの層にガウス雑音を埋め込むことによって固有性を取り入れる。
我々の研究は、全く異なるアプローチで敵の訓練を受けたネットワークに貢献し、敵の訓練と経験的に類似した堅牢性を持つ。
論文 参考訳(メタデータ) (2023-12-12T08:22:28Z) - Thresholds in the Robustness of Error Mitigation in Noisy Quantum
Dynamics [0.34530027457862006]
我々はImry-Ma引数を適用し、ランダムな空間的局所回路に対する誤差緩和のロバスト性におけるしきい値の存在を予測する。
対照的に、1次元の回路では、緩和は障害の特徴づけにおける不完全性に対して$mathcalO(1)$の時間で失敗する。
論文 参考訳(メタデータ) (2023-02-08T19:00:01Z) - Probabilities Are Not Enough: Formal Controller Synthesis for Stochastic
Dynamical Models with Epistemic Uncertainty [68.00748155945047]
複雑な力学系のモデルにおける不確実性を捉えることは、安全なコントローラの設計に不可欠である。
いくつかのアプローチでは、安全と到達可能性に関する時間的仕様を満たすポリシーを形式的な抽象化を用いて合成する。
我々の貢献は、ノイズ、不確実なパラメータ、外乱を含む連続状態モデルに対する新しい抽象的制御法である。
論文 参考訳(メタデータ) (2022-10-12T07:57:03Z) - Partial Identification with Noisy Covariates: A Robust Optimization
Approach [94.10051154390237]
観測データセットからの因果推論は、しばしば共変量の測定と調整に依存する。
このロバストな最適化手法により、広範囲な因果調整法を拡張し、部分的同定を行うことができることを示す。
合成および実データセット全体で、このアプローチは既存の手法よりも高いカバレッジ確率でATEバウンダリを提供する。
論文 参考訳(メタデータ) (2022-02-22T04:24:26Z) - Probe incompatibility in multiparameter noisy quantum metrology [0.0]
汎用雑音チャネルにおける複数パラメータの同時推定における最適プローブ不整合性の問題について検討する。
特に、損失のある多重アーム干渉計では、プローブの不整合性はノイズレスのシナリオと同じくらい強いことが示される。
本稿では,エミュランドム量子センシングの概念を導入し,開発したツールを複数のチャネル識別問題に適用する方法を示す。
論文 参考訳(メタデータ) (2021-04-22T18:03:16Z) - Learning to Generate Noise for Multi-Attack Robustness [126.23656251512762]
対人学習は、対人摂動に対する既存の方法の感受性を回避できる手法の1つとして登場した。
安全クリティカルなアプリケーションでは、攻撃者は様々な敵を採用してシステムを騙すことができるため、これらの手法は極端に便利である。
本稿では,複数種類の攻撃に対するモデルの堅牢性を改善するために,ノイズ発生を明示的に学習するメタラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-22T10:44:05Z) - Learning Adaptive Loss for Robust Learning with Noisy Labels [59.06189240645958]
ロバスト損失は、堅牢な学習問題を扱うための重要な戦略である。
本稿では,強靭なハイパーチューニングが可能なメタ学習手法を提案する。
4種類のSOTA損失関数は, 最小化, 一般利用, 有効性を示す。
論文 参考訳(メタデータ) (2020-02-16T00:53:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。