Fugu-MT 論文翻訳(概要): Navigating Noise: A Study of How Noise Influences Generalisation and Calibration of Neural Networks

論文の概要: Navigating Noise: A Study of How Noise Influences Generalisation and Calibration of Neural Networks

arxiv url: http://arxiv.org/abs/2306.17630v2
Date: Wed, 3 Apr 2024 08:34:26 GMT
ステータス: 処理完了
システム内更新日: 2024-04-04 23:27:42.315437
Title: Navigating Noise: A Study of How Noise Influences Generalisation and Calibration of Neural Networks
Title（参考訳）: ナビゲーションノイズ:ニューラルネットの一般化と校正に及ぼす騒音の影響に関する研究
Authors: Martin Ferianc, Ondrej Bohdal, Timothy Hospedales, Miguel Rodrigues,
Abstract要約: AugMixと弱い拡張はコンピュータビジョンにおけるクロスタスクの有効性を示す。この研究は、一般化と校正の両方を同時に最適化する複雑さを強調している。
参考スコア（独自算出の注目度）: 9.959452611953994
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Enhancing the generalisation abilities of neural networks (NNs) through integrating noise such as MixUp or Dropout during training has emerged as a powerful and adaptable technique. Despite the proven efficacy of noise in NN training, there is no consensus regarding which noise sources, types and placements yield maximal benefits in generalisation and confidence calibration. This study thoroughly explores diverse noise modalities to evaluate their impacts on NN's generalisation and calibration under in-distribution or out-of-distribution settings, paired with experiments investigating the metric landscapes of the learnt representations across a spectrum of NN architectures, tasks, and datasets. Our study shows that AugMix and weak augmentation exhibit cross-task effectiveness in computer vision, emphasising the need to tailor noise to specific domains. Our findings emphasise the efficacy of combining noises and successful hyperparameter transfer within a single domain but the difficulties in transferring the benefits to other domains. Furthermore, the study underscores the complexity of simultaneously optimising for both generalisation and calibration, emphasising the need for practitioners to carefully consider noise combinations and hyperparameter tuning for optimal performance in specific tasks and datasets.
Abstract（参考訳）: トレーニング中にMixUpやDropoutといったノイズを統合することで、ニューラルネットワーク(NN)の一般化能力を高めることが、強力で適応可能なテクニックとして現れている。 NNトレーニングにおけるノイズの有効性が証明されているにもかかわらず、どのノイズ源、タイプ、配置が一般化と信頼性校正において最大限の利益をもたらすかについては合意が得られていない。本研究は, NNアーキテクチャ, タスク, データセットのスペクトルにわたる学習者表現の計量的景観に関する実験と組み合わせ, 分布内あるいは分布外設定下でのNNの一般化とキャリブレーションに与える影響を評価するために, 多様なノイズモードを徹底的に検討する。我々の研究は、AugMixと弱い拡張はコンピュータビジョンにおいてクロスタスク効果を示し、特定のドメインにノイズを調整する必要があることを強調している。本研究は,単一領域内における雑音とハイパーパラメータ移動の併用効果を強調したが,他の領域へのメリットの移転は困難であった。さらに、この研究は、一般化と校正の両方を同時に最適化する複雑さを強調し、特定のタスクやデータセットにおける最適なパフォーマンスのために、ノイズの組み合わせとハイパーパラメータチューニングを慎重に検討する必要があることを強調している。

関連論文リスト

Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文参考訳（メタデータ） (2024-03-11T16:22:41Z)
Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文参考訳（メタデータ） (2023-09-29T06:18:15Z)
Assessing the Generalization Gap of Learning-Based Speech Enhancement Systems in Noisy and Reverberant Environments [0.7366405857677227]
目に見えない条件への一般化は、通常、新しい音声、雑音または部屋のインパルス応答データベースでシステムをテストすることで評価される。本研究では,テスト条件に基づいてトレーニングした参照モデルを用いた一般化評価フレームワークを提案する。提案手法を用いて,フィードフォワードニューラルネットワーク(FFNN),ConvTasNet,DCCRN,MANNERの一般化ポテンシャルを評価する。
論文参考訳（メタデータ） (2023-09-12T12:51:12Z)
Feature Noise Boosts DNN Generalization under Label Noise [65.36889005555669]
トレーニングデータにおけるラベルノイズの存在は、ディープニューラルネットワーク(DNN)の一般化に大きな影響を与える本研究では,学習データの特徴に直接ノイズを付加する単純な特徴雑音法を,理論的に導入し,理論的に実証する。
論文参考訳（メタデータ） (2023-08-03T08:31:31Z)
Exploring Efficient Asymmetric Blind-Spots for Self-Supervised Denoising in Real-World Scenarios [44.31657750561106]
実世界のシナリオにおけるノイズはしばしば空間的に相関しており、多くの自己教師型アルゴリズムは性能が良くない。盲点サイズを自由に調整できる非対称可変ブラインド・スポットネットワーク(AT-BSN)を提案する。提案手法は最先端技術を実現し,計算オーバーヘッドや視覚効果の観点から,他の自己教師付きアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-03-29T15:19:01Z)
Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
論文参考訳（メタデータ） (2023-01-18T04:54:58Z)
Walking Noise: On Layer-Specific Robustness of Neural Architectures against Noisy Computations and Associated Characteristic Learning Dynamics [1.5184189132709105]
本稿では,異なる分類タスクとモデルアーキテクチャに対する加法的,乗法的,混合ノイズの影響について論じる。本研究では,ロバスト性を測定するため,層固有のノイズを注入するウォーキングノイズ法を提案する。我々は,この方法論の実践的利用に関する議論をまとめ,ノイズの多い環境での適応型マルチエグゼクティブの活用について論じる。
論文参考訳（メタデータ） (2022-12-20T17:09:08Z)
Noise Injection Node Regularization for Robust Learning [0.0]
ノイズインジェクションノード規則化(NINR)は、トレーニング期間中に、構造化されたノイズをディープニューラルネットワーク(DNN)に注入する手法である。本研究は、NINRの下で訓練されたフィードフォワードDNNに対する各種試験データ摂動に対するロバスト性を大幅に改善する理論的および実証的な証拠を示す。
論文参考訳（メタデータ） (2022-10-27T20:51:15Z)
DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。上記の2つの課題を同時に解決するための一般的な枠組みを提案する。我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文参考訳（メタデータ） (2022-04-16T08:08:29Z)
On Dynamic Noise Influence in Differentially Private Learning [102.6791870228147]
Private Gradient Descent (PGD)は一般的に使用されるプライベート学習フレームワークであり、差分プロトコルに基づいてノイズを発生する。最近の研究では、emphdynamic privacy schedulesは最終イテレーションで改善できるが、そのようなスケジュールの有効性の理論は限られている。本稿では,これらの重要な質問に答えるために,動的プライバシスケジュールにおけるノイズの影響を総合的に分析する。
論文参考訳（メタデータ） (2021-01-19T02:04:00Z)
Evolving Deep Convolutional Neural Networks for Hyperspectral Image Denoising [6.869192200282213]
本稿では,HSIを効果的に識別する最適な畳み込みニューラルネットワーク(CNN)を自動構築する新しいアルゴリズムを提案する。提案アルゴリズムの実験は、最先端の競合相手とよく設計され比較されている。
論文参考訳（メタデータ） (2020-08-15T03:04:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。