論文の概要: Improving Normalization with the James-Stein Estimator

• arxiv url: http://arxiv.org/abs/2312.00313v1
• Date: Fri, 1 Dec 2023 03:12:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 15:52:25.473066
• Title: Improving Normalization with the James-Stein Estimator
• Title（参考訳）: James-Stein Estimator による正規化の改善
• Authors: Seyedalireza Khoshsirat and Chandra Kambhamettu
• Abstract要約: 正規化層における平均と分散の推定を改善するために,ジェームス・スタイン推定器を用いた新しい手法を提案する。 我々は,画像分類,セマンティックセグメンテーション,3次元オブジェクト分類という,異なるコンピュータビジョンタスクにおける手法の評価を行った。
• 参考スコア（独自算出の注目度）: 3.66237529322911
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stein's paradox holds considerable sway in high-dimensional statistics, highlighting that the sample mean, traditionally considered the de facto estimator, might not be the most efficacious in higher dimensions. To address this, the James-Stein estimator proposes an enhancement by steering the sample means toward a more centralized mean vector. In this paper, first, we establish that normalization layers in deep learning use inadmissible estimators for mean and variance. Next, we introduce a novel method to employ the James-Stein estimator to improve the estimation of mean and variance within normalization layers. We evaluate our method on different computer vision tasks: image classification, semantic segmentation, and 3D object classification. Through these evaluations, it is evident that our improved normalization layers consistently yield superior accuracy across all tasks without extra computational burden. Moreover, recognizing that a plethora of shrinkage estimators surpass the traditional estimator in performance, we study two other prominent shrinkage estimators: Ridge and LASSO. Additionally, we provide visual representations to intuitively demonstrate the impact of shrinkage on the estimated layer statistics. Finally, we study the effect of regularization and batch size on our modified batch normalization. The studies show that our method is less sensitive to batch size and regularization, improving accuracy under various setups.
• Abstract（参考訳）: スタインのパラドックスは高次元統計学においてかなりの意味を持ち、サンプル平均は伝統的にデファクト推定量と見なされ、高次元において最も有効ではないかもしれないことを強調する。 これに対処するため、ジェームズ・スタイン推定器はサンプル平均をより集中的な平均ベクトルに向けて操ることによる拡張を提案する。 本稿では,まず,深層学習における正規化層が平均・分散に不許容推定子を用いることを示す。 次に、正規化層における平均および分散の推定を改善するために、ジェームズ・スタイン推定器を用いる新しい手法を提案する。 本手法は,画像分類,意味セグメンテーション,3次元オブジェクト分類などの異なるコンピュータビジョンタスクで評価する。 これらの評価を通して, 改良した正規化層は, 計算負荷を増すことなく, 全てのタスクにおいて, 一貫して優れた精度をもたらすことが明らかとなった。 さらに,多くの縮小推定値が従来の推定値を超えることを認識して,リッジとラッソの2つの顕著な縮小推定値について検討した。 さらに,収縮が推定層統計に与える影響を直感的に示すビジュアル表現を提供する。 最後に,修正バッチ正規化に対する正規化とバッチサイズの影響について検討した。 その結果,本手法はバッチサイズや正規化に対する感度が低く,各種設定の精度が向上した。

関連論文リスト

• Quantifying Variance in Evaluation Benchmarks [34.12254884944099]
  評価ベンチマークのばらつきは,初期化における種子のばらつき,訓練中の単調性などである。 選択タスクを完了タスクとしてフレーミングするといった単純な変更は、小さなスケールでの分散を減少させる可能性がある。 人間のテスト文献(項目分析や項目応答理論など)に触発されたより複雑な手法は、分散を有意義に減少させるのに苦労する。
  論文  参考訳（メタデータ） (2024-06-14T17:59:54Z)
• Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
  本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。 我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。 実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-14T14:23:23Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Outlier-Robust Geometric Perception: A Novel Thresholding-Based Estimator with Intra-Class Variance Maximization [4.3487328134753795]
  我々は、新しい汎用ロバストな推定器TIVM(クラス内変動最大化による三値保持)を提案する。 標準的な非最小解法と協調して、幾何学的知覚問題に対する外れ値の除去を効率的に行うことができる。 我々の推定器は、問題の不整合ノイズ統計が完全に未知である場合でも、ほぼ同じレベルのロバスト性を維持することができる。
  論文  参考訳（メタデータ） (2022-04-04T08:57:34Z)
• Gradient Estimation with Discrete Stein Operators [44.64146470394269]
  離散分布に対するスタイン演算子に基づく分散化手法を提案する。 提案手法は,同数の関数評価値を持つ最先端推定値よりも,かなり低い分散性を実現する。
  論文  参考訳（メタデータ） (2022-02-19T02:22:23Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Dynamic Iterative Refinement for Efficient 3D Hand Pose Estimation [87.54604263202941]
  本稿では,従来の推定値の修正に部分的レイヤを反復的に活用する,小さなディープニューラルネットワークを提案する。 学習したゲーティング基準を用いて、ウェイトシェアリングループから抜け出すかどうかを判断し、モデルにサンプルごとの適応を可能にする。 提案手法は,広く使用されているベンチマークの精度と効率の両面から,最先端の2D/3Dハンドポーズ推定手法より一貫して優れている。
  論文  参考訳（メタデータ） (2021-11-11T23:31:34Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Re-Assessing the "Classify and Count" Quantification Method [88.60021378715636]
  分類とカウント(CC)は、しばしば偏りのある推定器である。 以前の作業では、CCの適切に最適化されたバージョンを適切に使用できなかった。 最先端の手法に劣っているものの、ほぼ最先端の精度を実現している、と我々は主張する。
  論文  参考訳（メタデータ） (2020-11-04T21:47:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。