論文の概要: Regularisation in neural networks: a survey and empirical analysis of approaches

• arxiv url: http://arxiv.org/abs/2601.23131v1
• Date: Fri, 30 Jan 2026 16:22:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.548748
• Title: Regularisation in neural networks: a survey and empirical analysis of approaches
• Title（参考訳）: ニューラルネットワークにおける正規化--アプローチに関する調査と実証分析
• Authors: Christiaan P. Opperman, Anna S. Bosman, Katherine M. Malan,
• Abstract要約: 二重降下などの近代的理論を含む正則化手法を概観する。 10個の数値および画像データセットの分類タスクにおける様々な正規化手法を比較した。 その結果,正規化の有効性はデータセットに依存していることがわかった。
• 参考スコア（独自算出の注目度）: 0.5097809301149341
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite huge successes on a wide range of tasks, neural networks are known to sometimes struggle to generalise to unseen data. Many approaches have been proposed over the years to promote the generalisation ability of neural networks, collectively known as regularisation techniques. These are used as common practice under the assumption that any regularisation added to the pipeline would result in a performance improvement. In this study, we investigate whether this assumption holds in practice. First, we provide a broad review of regularisation techniques, including modern theories such as double descent. We propose a taxonomy of methods under four broad categories, namely: (1) data-based strategies, (2) architecture strategies, (3) training strategies, and (4) loss function strategies. Notably, we highlight the contradictions and correspondences between the approaches in these broad classes. Further, we perform an empirical comparison of the various regularisation techniques on classification tasks for ten numerical and image datasets applied to the multi-layer perceptron and convolutional neural network architectures. Results show that the efficacy of regularisation is dataset-dependent. For example, the use of a regularisation term only improved performance on numeric datasets, whereas batch normalisation improved performance on image datasets only. Generalisation is crucial to machine learning; thus, understanding the effects of applying regularisation techniques, and considering the connections between them is essential to the appropriate use of these methods in practice.
• Abstract（参考訳）: 幅広いタスクで大きな成功を収めたにもかかわらず、ニューラルネットワークは時に目に見えないデータに一般化するのに苦労することが知られている。 ニューラルネットワークの一般化能力を促進するために、長年にわたり多くのアプローチが提案されてきた。 これらは、パイプラインに追加された正規化がパフォーマンス改善をもたらすと仮定して、一般的なプラクティスとして使用される。 本研究では,この仮定が実際に成立するかどうかを考察する。 まず、二重降下のような近代理論を含む正規化手法の広範なレビューを行う。 本研究では,(1)データベース戦略,(2)アーキテクチャ戦略,(3)トレーニング戦略,(4)損失関数戦略の4つのカテゴリに分類される手法の分類法を提案する。 特に、これらの幅広いクラスにおけるアプローチ間の矛盾と対応を強調します。 さらに、多層パーセプトロンおよび畳み込みニューラルネットワークアーキテクチャに適用された10の数値および画像データセットの分類タスクにおける様々な正規化手法の実証的な比較を行う。 その結果,正規化の有効性はデータセットに依存していることがわかった。 例えば、正規化用語を使用することで、数値データセットのパフォーマンスが向上したのに対して、バッチ正規化では画像データセットのパフォーマンスが向上した。 一般化は機械学習にとって不可欠であり、正規化技術の適用効果を理解し、それらの相互関係を考慮することは、実際にこれらの手法を適切に利用する上で不可欠である。

関連論文リスト

• A Mathematics Framework of Artificial Shifted Population Risk and Its Further Understanding Related to Consistency Regularization [7.944280447232545]
  本稿では,データ拡張のためのより包括的な数学的枠組みを紹介する。 シフトする人口の予測リスクは、当初の人口リスクとギャップ項の合計であることを示す。 本稿は、このギャップの理論的理解も提供し、トレーニングの初期段階における負の効果を強調している。
  論文  参考訳（メタデータ） (2025-02-15T08:26:49Z)
• Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification [3.0398616939692777]
  対人学習、コントラスト学習、拡散認知学習、通常の再構成学習といった技術が標準となっている。 この研究は、ニューラルネットワークの学習プロセスを強化するために、事前学習技術と微調整戦略の利点を解明することを目的としている。
  論文  参考訳（メタデータ） (2024-05-29T15:44:51Z)
• NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
  ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。 本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。 テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
  論文  参考訳（メタデータ） (2023-07-25T13:35:45Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Compare Where It Matters: Using Layer-Wise Regularization To Improve Federated Learning on Heterogeneous Data [0.0]
  フェデレートラーニング(Federated Learning)は、分散データ上でニューラルネットワークをトレーニングする方法として広く採用されている。 主な制限は、データが均一に分散されたときに発生するパフォーマンス劣化である。 本稿では,様々なディープラーニングタスクにおいて,従来の最先端手法よりも優れたパフォーマンスを実現するフレームワークであるFedCKAを紹介する。
  論文  参考訳（メタデータ） (2021-12-01T10:46:13Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Unsupervised Domain-adaptive Hash for Networks [81.49184987430333]
  ドメイン適応型ハッシュ学習はコンピュータビジョンコミュニティでかなりの成功を収めた。 UDAHと呼ばれるネットワークのための教師なしドメイン適応型ハッシュ学習手法を開発した。
  論文  参考訳（メタデータ） (2021-08-20T12:09:38Z)
• Embracing the Dark Knowledge: Domain Generalization Using Regularized Knowledge Distillation [65.79387438988554]
  十分なデータと代表データがない場合の一般化能力の欠如は、その実践的応用を妨げる課題の1つである。 我々はKDDG(Knowledge Distillation for Domain Generalization)という,シンプルで効果的な,プラグアンドプレイのトレーニング戦略を提案する。 教師ネットワークからの「より豊かな暗黒知識」と、我々が提案した勾配フィルタの両方が、マッピングの学習の難しさを軽減することができる。
  論文  参考訳（メタデータ） (2021-07-06T14:08:54Z)
• Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint [35.5156045701898]
  各タスクの損失関数の2階Taylor近似として定式化することにより、正規化に基づく連続学習の新しい視点を提供する。 この観点から、正規化に基づく連続学習の最適化側面(収束)と一般化特性(有限サンプル保証)を考察する。
  論文  参考訳（メタデータ） (2020-06-19T06:08:40Z)
• AL2: Progressive Activation Loss for Learning General Representations in Classification Neural Networks [12.14537824884951]
  本稿では,トレーニング中のアクティベーションの規模を段階的に罰する新たな正規化手法を提案する。 本手法が一般化に与える影響をラベルランダム化試験と累積アブレーションを用いて解析した。
  論文  参考訳（メタデータ） (2020-03-07T18:38:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。