論文の概要: Improve Noise Tolerance of Robust Loss via Noise-Awareness
- arxiv url: http://arxiv.org/abs/2301.07306v2
- Date: Sun, 3 Sep 2023 03:15:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 06:57:04.873627
- Title: Improve Noise Tolerance of Robust Loss via Noise-Awareness
- Title（参考訳）: 雑音認識によるロバスト損失の耐雑音性向上
- Authors: Kehui Ding, Jun Shu, Deyu Meng, Zongben Xu
- Abstract要約: 本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。
4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
- 参考スコア（独自算出の注目度）: 60.34670515595074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robust loss minimization is an important strategy for handling robust
learning issue on noisy labels. Current approaches for designing robust losses
involve the introduction of noise-robust factors, i.e., hyperparameters, to
control the trade-off between noise robustness and learnability. However,
finding suitable hyperparameters for different datasets with noisy labels is a
challenging and time-consuming task. Moreover, existing robust loss methods
usually assume that all training samples share common hyperparameters, which
are independent of instances. This limits the ability of these methods to
distinguish the individual noise properties of different samples and overlooks
the varying contributions of diverse training samples in helping models
understand underlying patterns. To address above issues, we propose to assemble
robust loss with instance-dependent hyperparameters to improve their noise
tolerance with theoretical guarantee. To achieve setting such
instance-dependent hyperparameters for robust loss, we propose a meta-learning
method which is capable of adaptively learning a hyperparameter prediction
function, called Noise-Aware-Robust-Loss-Adjuster (NARL-Adjuster for brevity).
Through mutual amelioration between hyperparameter prediction function and
classifier parameters in our method, both of them can be simultaneously finely
ameliorated and coordinated to attain solutions with good generalization
capability. Four SOTA robust loss functions are attempted to be integrated with
our algorithm, and comprehensive experiments substantiate the general
availability and effectiveness of the proposed method in both its noise
tolerance and performance.
- Abstract（参考訳）: ロバスト損失最小化は、雑音ラベルの堅牢な学習問題を扱うための重要な戦略である。
頑健な損失を設計するための現在のアプローチは、ノイズロバスト性と学習性の間のトレードオフを制御するために、ハイパーパラメータと呼ばれるノイズロバスト因子を導入することである。
しかしながら、ノイズの多いラベルを持つ異なるデータセットに適したハイパーパラメータを見つけることは、困難かつ時間のかかる作業である。
さらに、既存のロバストな損失法は、通常、すべてのトレーニングサンプルがインスタンスに依存しない共通のハイパーパラメータを共有していると仮定する。
これは、異なるサンプルの個々のノイズ特性を識別するこれらの手法の能力を制限し、モデルが基礎となるパターンを理解するのに役立つ様々なトレーニングサンプルの様々な貢献を見落としている。
上記の問題に対処するため,我々は,インスタンス依存のハイパーパラメータを用いてロバストな損失を組み立て,理論的保証により耐雑音性を向上させることを提案する。
本研究では,高パラメータ予測関数であるNARL-Adjuster(NARL-Adjuster for brevity)を適応的に学習できるメタラーニング手法を提案する。
提案手法におけるハイパーパラメータ予測関数と分類器パラメータの相互改善により、両者を同時に微調整・調整し、優れた一般化能力を持つ解が得られる。
4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両方において検証した。
関連論文リスト
- Robust Learning under Hybrid Noise [24.36707245704713]
本稿では,データリカバリの観点からハイブリッドノイズに対処するため,新たな統合学習フレームワーク"Feature and Label Recovery"(FLR)を提案する。
論文 参考訳（メタデータ） (2024-07-04T16:13:25Z) - ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。
Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
論文 参考訳（メタデータ） (2024-04-05T13:58:51Z) - Inference Stage Denoising for Undersampled MRI Reconstruction [13.8086726938161]
磁気共鳴画像(MRI)データの再構成は、ディープラーニングによって肯定的な影響を受けている。
重要な課題は、トレーニングとテストデータ間の分散シフトへの一般化を改善することだ。
論文 参考訳（メタデータ） (2024-02-12T12:50:10Z) - May the Noise be with you: Adversarial Training without Adversarial
Examples [3.4673556247932225]
我々は、敵の訓練を受けずに敵の訓練を受けたモデルを得ることができるかという疑問を調査する。
提案手法は,訓練時にNNモデルの層にガウス雑音を埋め込むことによって固有性を取り入れる。
我々の研究は、全く異なるアプローチで敵の訓練を受けたネットワークに貢献し、敵の訓練と経験的に類似した堅牢性を持つ。
論文 参考訳（メタデータ） (2023-12-12T08:22:28Z) - Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。
これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。
まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。
次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
論文 参考訳（メタデータ） (2023-05-17T13:56:48Z) - Probabilities Are Not Enough: Formal Controller Synthesis for Stochastic
Dynamical Models with Epistemic Uncertainty [68.00748155945047]
複雑な力学系のモデルにおける不確実性を捉えることは、安全なコントローラの設計に不可欠である。
いくつかのアプローチでは、安全と到達可能性に関する時間的仕様を満たすポリシーを形式的な抽象化を用いて合成する。
我々の貢献は、ノイズ、不確実なパラメータ、外乱を含む連続状態モデルに対する新しい抽象的制御法である。
論文 参考訳（メタデータ） (2022-10-12T07:57:03Z) - Probe incompatibility in multiparameter noisy quantum metrology [0.0]
汎用雑音チャネルにおける複数パラメータの同時推定における最適プローブ不整合性の問題について検討する。
特に、損失のある多重アーム干渉計では、プローブの不整合性はノイズレスのシナリオと同じくらい強いことが示される。
本稿では,エミュランドム量子センシングの概念を導入し,開発したツールを複数のチャネル識別問題に適用する方法を示す。
論文 参考訳（メタデータ） (2021-04-22T18:03:16Z) - Learning to Generate Noise for Multi-Attack Robustness [126.23656251512762]
対人学習は、対人摂動に対する既存の方法の感受性を回避できる手法の1つとして登場した。
安全クリティカルなアプリケーションでは、攻撃者は様々な敵を採用してシステムを騙すことができるため、これらの手法は極端に便利である。
本稿では,複数種類の攻撃に対するモデルの堅牢性を改善するために,ノイズ発生を明示的に学習するメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-22T10:44:05Z) - Learning Adaptive Loss for Robust Learning with Noisy Labels [59.06189240645958]
ロバスト損失は、堅牢な学習問題を扱うための重要な戦略である。
本稿では,強靭なハイパーチューニングが可能なメタ学習手法を提案する。
4種類のSOTA損失関数は, 最小化, 一般利用, 有効性を示す。
論文 参考訳（メタデータ） (2020-02-16T00:53:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。