論文の概要: Metadata Normalization

• arxiv url: http://arxiv.org/abs/2104.09052v1
• Date: Mon, 19 Apr 2021 05:10:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-21 03:38:44.944380
• Title: Metadata Normalization
• Title（参考訳）: メタデータの正規化
• Authors: Mandy Lu, Qingyu Zhao, Jiequan Zhang, Kilian M. Pohl, Li Fei-Fei, Juan Carlos Niebles, Ehsan Adeli
• Abstract要約: バッチ正規化(bn)は、バッチ統計の標準化によって特徴分布を正規化する。 BNは外部変数や複数の分布からの影響を補正していない。 トレーニングフレームワーク内でエンドツーエンドで使用できる新しいバッチレベルのオペレーションであるMetadata Normalizationレイヤを紹介します。
• 参考スコア（独自算出の注目度）: 54.43363251520749
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Batch Normalization (BN) and its variants have delivered tremendous success in combating the covariate shift induced by the training step of deep learning methods. While these techniques normalize feature distributions by standardizing with batch statistics, they do not correct the influence on features from extraneous variables or multiple distributions. Such extra variables, referred to as metadata here, may create bias or confounding effects (e.g., race when classifying gender from face images). We introduce the Metadata Normalization (MDN) layer, a new batch-level operation which can be used end-to-end within the training framework, to correct the influence of metadata on feature distributions. MDN adopts a regression analysis technique traditionally used for preprocessing to remove (regress out) the metadata effects on model features during training. We utilize a metric based on distance correlation to quantify the distribution bias from the metadata and demonstrate that our method successfully removes metadata effects on four diverse settings: one synthetic, one 2D image, one video, and one 3D medical image dataset.
• Abstract（参考訳）: バッチ正規化(BN)とその変種は、深層学習法のトレーニングステップによって引き起こされる共変量シフトと戦うことに大きく成功している。 これらの手法は、バッチ統計の標準化によって特徴分布を標準化するが、外部変数や複数分布の特徴の影響を補正しない。 このような余分な変数は、ここでメタデータと呼ばれ、バイアスや反響効果(例えば、顔画像から性別を分類する際のレース)を生じることがある。 本稿では,MDN(Metadata Normalization)層をトレーニングフレームワーク内でエンド・ツー・エンドで使用できる新しいバッチレベルの操作として導入し,特徴分布に対するメタデータの影響を補正する。 MDNは従来、事前処理に用いられていた回帰分析技術を採用して、トレーニング中のモデル機能に対するメタデータ効果を除去(回帰)する。 距離相関に基づくメトリクスを用いて,メタデータから分布バイアスを定量化し,合成1,2D画像,ビデオ1,3D画像データセットの4つの異なる設定におけるメタデータ効果の除去に成功したことを示す。

関連論文リスト

• Robust training of implicit generative models for multivariate and heavy-tailed distributions with an invariant statistical loss [0.4249842620609682]
  我々は、引用2024トレーニングで導入されたISL(textitinvariant statistics loss)法に基づいて構築する。 重み付きおよび多変量データ分散を扱うように拡張する。 ジェネレーティブ・ジェネレーティブ・モデリングにおけるその性能を評価し、ジェネレーティブ・ディバイサル・ネットワーク(GAN)の事前学習技術としての可能性を探る。
  論文  参考訳（メタデータ） (2024-10-29T10:27:50Z)
• How Does Data Diversity Shape the Weight Landscape of Neural Networks? [2.89287673224661]
  本稿では, ニューラルネットワークのパラメータ空間に対する降雨量, 重量減衰量, 騒音増大の影響について検討する。 我々は、多様なデータが、ドロップアウトと同様の方法で重量景観に影響を与えることを観察する。 合成データにより、実際の入力データにより多くの多様性がもたらされ、アウト・オブ・ディストリビューションテストインスタンスの性能が向上する、と結論付けている。
  論文  参考訳（メタデータ） (2024-10-18T16:57:05Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Context Normalization Layer with Applications [0.1499944454332829]
  本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。 各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。 文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
  論文  参考訳（メタデータ） (2023-03-14T06:38:17Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• A Penalty Approach for Normalizing Feature Distributions to Build Confounder-Free Models [11.818509522227565]
  MetaData Normalization (MDN) は、学習不能なクローズドフォームソリューションに基づいてメタデータと各特徴の線形関係を推定する。 罰則法(PDMN)を適用してMDN法を拡張した。 MDNによるモデル精度の向上とMDN上のMDNを用いた共同設立者からの独立性の向上を示す。
  論文  参考訳（メタデータ） (2022-07-11T04:02:12Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Generalized ODIN: Detecting Out-of-distribution Image without Learning from Out-of-distribution Data [87.61504710345528]
  我々は,OoD検出性能を改善しつつ,ニューラルネットワークをOoDデータのチューニングから解放する2つの方法を提案する。 具体的には、信頼性スコアリングと修正された入力前処理法を分離することを提案する。 大規模画像データセットのさらなる解析により、セマンティックシフトと非セマンティックシフトの2種類の分布シフトが有意な差を示すことが示された。
  論文  参考訳（メタデータ） (2020-02-26T04:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。