論文の概要: Be Like Water: Robustness to Extraneous Variables Via Adaptive Feature Normalization

• arxiv url: http://arxiv.org/abs/2002.04019v2
• Date: Tue, 25 Feb 2020 21:35:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 07:59:10.500654
• Title: Be Like Water: Robustness to Extraneous Variables Via Adaptive Feature Normalization
• Title（参考訳）: be like water:adaptive feature normalizationによる外部変数へのロバスト性
• Authors: Aakash Kaku, Sreyas Mohan, Avinash Parnandi, Heidi Schambra and Carlos Fernandez-Granda
• Abstract要約: 外部変数は特定のタスクに無関係な変数であるが、利用可能なデータの分布に大きな影響を及ぼす変数である。 このような変数の存在は、ディープラーニングモデルの性能を低下させる可能性があることを示す。 我々は,例えば正規化のように,推測中に特徴統計量を適応的に推定することが,この問題に対処することを示す。
• 参考スコア（独自算出の注目度）: 17.829013101192295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extraneous variables are variables that are irrelevant for a certain task, but heavily affect the distribution of the available data. In this work, we show that the presence of such variables can degrade the performance of deep-learning models. We study three datasets where there is a strong influence of known extraneous variables: classification of upper-body movements in stroke patients, annotation of surgical activities, and recognition of corrupted images. Models trained with batch normalization learn features that are highly dependent on the extraneous variables. In batch normalization, the statistics used to normalize the features are learned from the training set and fixed at test time, which produces a mismatch in the presence of varying extraneous variables. We demonstrate that estimating the feature statistics adaptively during inference, as in instance normalization, addresses this issue, producing normalized features that are more robust to changes in the extraneous variables. This results in a significant gain in performance for different network architectures and choices of feature statistics.
• Abstract（参考訳）: 外部変数は特定のタスクに関係のない変数であるが、利用可能なデータの分布に大きな影響を与える。 本研究では,このような変数が存在すると,ディープラーニングモデルの性能が低下することを示す。 脳卒中患者の上体運動の分類,手術活動の注記,腐敗画像の認識という,既知の外来変数の影響が強い3つのデータセットについて検討した。 バッチ正規化で訓練されたモデルは、外部変数に強く依存する特徴を学ぶ。 バッチ正規化では、特徴を正規化するために使用される統計は、トレーニングセットから学習され、テスト時に固定される。 我々は,例えば正規化のように,推論中に特徴統計量を適応的に推定することでこの問題に対処し,外部変数の変化に対してより堅牢な正規化特徴を生成することを示した。 これにより、異なるネットワークアーキテクチャのパフォーマンスと機能統計の選択が大幅に向上する。

関連論文リスト

• Model-independent variable selection via the rule-based variable priority [1.2771542695459488]
  モデルに依存しない新しいアプローチである可変優先度(VarPro)を導入する。 VarProは、人工データを生成したり、予測エラーを評価することなく、ルールを活用する。 VarProはノイズ変数に対して一貫したフィルタリング特性を持つことを示す。
  論文  参考訳（メタデータ） (2024-09-13T17:32:05Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Even Small Correlation and Diversity Shifts Pose Dataset-Bias Issues [19.4921353136871]
  実験サンプルがトレーニング中に見つからないパターンを示す場合の多様性シフトと、テストデータが観察された不変性と急激な特徴の異なる相関を示す場合の相関シフトの2種類について検討した。 そこで我々は,両タイプのシフトをデータセットを用いて分析し,制御可能な方法で共存する統合プロトコルを提案する。
  論文  参考訳（メタデータ） (2023-05-09T23:40:23Z)
• Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift [50.98086766507025]
  本稿では,AIA(Adversarial Invariant Augmentation)という,シンプルで効率の良いデータ拡張戦略を提案する。 AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
  論文  参考訳（メタデータ） (2022-11-05T07:55:55Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Grounding inductive biases in natural images:invariance stems from variations in data [20.432568247732206]
  本研究では,実際のデータセットであるImageNetの変動要因について検討する。 標準的な拡張は、翻訳とスケールの正確な組み合わせに依存していることを示す。 ImageNetの変動の主な要因は外見に大きく関係していることがわかりました。
  論文  参考訳（メタデータ） (2021-06-09T14:58:57Z)
• Metadata Normalization [54.43363251520749]
  バッチ正規化(bn)は、バッチ統計の標準化によって特徴分布を正規化する。 BNは外部変数や複数の分布からの影響を補正していない。 トレーニングフレームワーク内でエンドツーエンドで使用できる新しいバッチレベルのオペレーションであるMetadata Normalizationレイヤを紹介します。
  論文  参考訳（メタデータ） (2021-04-19T05:10:26Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Robust Variational Autoencoder for Tabular Data with Beta Divergence [0.0]
  本稿では,連続的特徴と分類的特徴を混合した頑健な変動型オートエンコーダを提案する。 ネットワークトラフィックデータセットの異常検出アプリケーションについて,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2020-06-15T08:09:34Z)
• Jigsaw-VAE: Towards Balancing Features in Variational Autoencoders [18.315247344611727]
  VAE潜伏変数は、しばしば他の変数を犠牲にして、変動の要因に焦点をあてることが示される。 本稿では,機能不均衡問題に対処するVOEの正規化手法を提案する。
  論文  参考訳（メタデータ） (2020-05-12T00:46:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。