論文の概要: Metadata Normalization
- arxiv url: http://arxiv.org/abs/2104.09052v1
- Date: Mon, 19 Apr 2021 05:10:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-21 03:38:44.944380
- Title: Metadata Normalization
- Title(参考訳): メタデータの正規化
- Authors: Mandy Lu, Qingyu Zhao, Jiequan Zhang, Kilian M. Pohl, Li Fei-Fei, Juan
Carlos Niebles, Ehsan Adeli
- Abstract要約: バッチ正規化(bn)は、バッチ統計の標準化によって特徴分布を正規化する。
BNは外部変数や複数の分布からの影響を補正していない。
トレーニングフレームワーク内でエンドツーエンドで使用できる新しいバッチレベルのオペレーションであるMetadata Normalizationレイヤを紹介します。
- 参考スコア(独自算出の注目度): 54.43363251520749
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Batch Normalization (BN) and its variants have delivered tremendous success
in combating the covariate shift induced by the training step of deep learning
methods. While these techniques normalize feature distributions by
standardizing with batch statistics, they do not correct the influence on
features from extraneous variables or multiple distributions. Such extra
variables, referred to as metadata here, may create bias or confounding effects
(e.g., race when classifying gender from face images). We introduce the
Metadata Normalization (MDN) layer, a new batch-level operation which can be
used end-to-end within the training framework, to correct the influence of
metadata on feature distributions. MDN adopts a regression analysis technique
traditionally used for preprocessing to remove (regress out) the metadata
effects on model features during training. We utilize a metric based on
distance correlation to quantify the distribution bias from the metadata and
demonstrate that our method successfully removes metadata effects on four
diverse settings: one synthetic, one 2D image, one video, and one 3D medical
image dataset.
- Abstract(参考訳): バッチ正規化(BN)とその変種は、深層学習法のトレーニングステップによって引き起こされる共変量シフトと戦うことに大きく成功している。
これらの手法は、バッチ統計の標準化によって特徴分布を標準化するが、外部変数や複数分布の特徴の影響を補正しない。
このような余分な変数は、ここでメタデータと呼ばれ、バイアスや反響効果(例えば、顔画像から性別を分類する際のレース)を生じることがある。
本稿では,MDN(Metadata Normalization)層をトレーニングフレームワーク内でエンド・ツー・エンドで使用できる新しいバッチレベルの操作として導入し,特徴分布に対するメタデータの影響を補正する。
MDNは従来、事前処理に用いられていた回帰分析技術を採用して、トレーニング中のモデル機能に対するメタデータ効果を除去(回帰)する。
距離相関に基づくメトリクスを用いて,メタデータから分布バイアスを定量化し,合成1,2D画像,ビデオ1,3D画像データセットの4つの異なる設定におけるメタデータ効果の除去に成功したことを示す。
関連論文リスト
- Context Normalization Layer with Applications [0.1499944454332829]
本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。
各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。
文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
論文 参考訳(メタデータ) (2023-03-14T06:38:17Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳(メタデータ) (2022-12-02T07:31:39Z) - A Penalty Approach for Normalizing Feature Distributions to Build
Confounder-Free Models [11.818509522227565]
MetaData Normalization (MDN) は、学習不能なクローズドフォームソリューションに基づいてメタデータと各特徴の線形関係を推定する。
罰則法(PDMN)を適用してMDN法を拡張した。
MDNによるモデル精度の向上とMDN上のMDNを用いた共同設立者からの独立性の向上を示す。
論文 参考訳(メタデータ) (2022-07-11T04:02:12Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳(メタデータ) (2021-07-05T12:44:39Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳(メタデータ) (2020-06-19T05:08:43Z) - Generalized ODIN: Detecting Out-of-distribution Image without Learning
from Out-of-distribution Data [87.61504710345528]
我々は,OoD検出性能を改善しつつ,ニューラルネットワークをOoDデータのチューニングから解放する2つの方法を提案する。
具体的には、信頼性スコアリングと修正された入力前処理法を分離することを提案する。
大規模画像データセットのさらなる解析により、セマンティックシフトと非セマンティックシフトの2種類の分布シフトが有意な差を示すことが示された。
論文 参考訳(メタデータ) (2020-02-26T04:18:25Z) - Be Like Water: Robustness to Extraneous Variables Via Adaptive Feature
Normalization [17.829013101192295]
外部変数は特定のタスクに無関係な変数であるが、利用可能なデータの分布に大きな影響を及ぼす変数である。
このような変数の存在は、ディープラーニングモデルの性能を低下させる可能性があることを示す。
我々は,例えば正規化のように,推測中に特徴統計量を適応的に推定することが,この問題に対処することを示す。
論文 参考訳(メタデータ) (2020-02-10T18:47:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。