論文の概要: A Modulation Layer to Increase Neural Network Robustness Against Data Quality Issues

• arxiv url: http://arxiv.org/abs/2107.08574v1
• Date: Mon, 19 Jul 2021 01:29:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 01:57:32.524464
• Title: A Modulation Layer to Increase Neural Network Robustness Against Data Quality Issues
• Title（参考訳）: データ品質問題に対するニューラルネットワークロバスト性向上のための変調層
• Authors: Mohamed Abdelhack, Jiaming Zhang, Sandhya Tripathi, Bradley Fritz, Michael Avidan, Yixin Chen, Christopher King
• Abstract要約: 欠落したデータは、複雑なパターンの正確さ、校正、特徴属性に影響を与える。 したがって、欠落データに対して機械学習モデルを堅牢にすることは、実践的な応用に不可欠である。 我々は、欠落したデータの影響を軽減するために、新しいニューラルネットワーク修正を提案する。
• 参考スコア（独自算出の注目度）: 18.931673863768626
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data quality is a common problem in machine learning, especially in high-stakes settings such as healthcare. Missing data affects accuracy, calibration, and feature attribution in complex patterns. Developers often train models on carefully curated datasets to minimize missing data bias; however, this reduces the usability of such models in production environments, such as real-time healthcare records. Making machine learning models robust to missing data is therefore crucial for practical application. While some classifiers naturally handle missing data, others, such as deep neural networks, are not designed for unknown values. We propose a novel neural network modification to mitigate the impacts of missing data. The approach is inspired by neuromodulation that is performed by biological neural networks. Our proposal replaces the fixed weights of a fully-connected layer with a function of an additional input (reliability score) at each input, mimicking the ability of cortex to up- and down-weight inputs based on the presence of other data. The modulation function is jointly learned with the main task using a multi-layer perceptron. We tested our modulating fully connected layer on multiple classification, regression, and imputation problems, and it either improved performance or generated comparable performance to conventional neural network architectures concatenating reliability to the inputs. Models with modulating layers were more robust against degradation of data quality by introducing additional missingness at evaluation time. These results suggest that explicitly accounting for reduced information quality with a modulating fully connected layer can enable the deployment of artificial intelligence systems in real-time settings.
• Abstract（参考訳）: データ品質は機械学習において一般的な問題であり、特に医療などの高度な設定では問題となる。 データの欠如は、複雑なパターンにおける精度、キャリブレーション、特徴帰属に影響する。 開発者はしばしば、欠落したデータバイアスを最小限に抑えるために、慎重にキュレートされたデータセットでモデルをトレーニングする。 機械学習モデルを欠落データに対して堅牢にすることは、実践的な応用にとって不可欠である。 一部の分類器は自然に欠落したデータを扱うが、ディープニューラルネットワークのような他の分類器は未知の値のために設計されていない。 我々は、欠落データの影響を軽減するために、新しいニューラルネットワーク修正を提案する。 このアプローチは、生物学的ニューラルネットワークによって実行される神経調節にインスパイアされている。 本提案では,完全連結層の固定重みを各入力における付加入力(信頼度スコア)の関数に置き換え,他のデータの存在に基づいて,皮質のアップウェイトとダウンウェイト入力の能力を模倣する。 変調関数は、多層パーセプトロンを用いてメインタスクと共同で学習される。 我々は、複数の分類、回帰、インプテーション問題において、完全接続層をテストし、入力に対する信頼性を連結した従来のニューラルネットワークアーキテクチャと同等の性能または性能を発生させた。 層を変調したモデルは、データ品質の劣化に対して、評価時にさらなる欠陥を導入することでより堅牢になった。 これらの結果は,完全接続層を変調することで,情報品質の低下を明示的に考慮し,リアルタイムに人工知能システムを展開できることを示唆する。

関連論文リスト

• Pseudo Replay-based Class Continual Learning for Online New Category Anomaly Detection in Advanced Manufacturing [5.012204041812572]
  本稿では,新しい擬似リプレイ型連続学習フレームワークを開発する。 クラスインクリメンタル学習とオーバーサンプリングベースのデータ生成を統合している。 提案手法の有効性を3つのケーススタディで検証した。
  論文  参考訳（メタデータ） (2023-12-05T04:43:23Z)
• Evaluation of machine learning architectures on the quantification of epistemic and aleatoric uncertainties in complex dynamical systems [0.0]
  不確実量化(英: Uncertainty Quantification、UQ)は、モデル誤差の自己評価値である。 ガウス過程とファミリーUQ強化ニューラルネットワークの両方を含む機械学習技術について検討する。 検証データ上の正規化残差の分布と推定不確かさの分布の2つの指標を用いて,UQ精度(モデル精度とは異なる)を評価する。
  論文  参考訳（メタデータ） (2023-06-27T02:35:25Z)
• Learning From High-Dimensional Cyber-Physical Data Streams for Diagnosing Faults in Smart Grids [4.616703548353371]
  サイバー物理電力システムにおける故障診断は、データ品質に影響される。 これらのシステムは、過剰な計算コストでシステムを過大評価する大量のデータを生成する。 本稿では,機能工学が上記の課題を緩和する効果について述べる。
  論文  参考訳（メタデータ） (2023-03-15T01:21:50Z)
• An Adversarial Active Sampling-based Data Augmentation Framework for Manufacturable Chip Design [55.62660894625669]
  リソグラフィーモデリングは、チップ設計マスクが製造可能であることを保証するため、チップ設計において重要な問題である。 機械学習の最近の進歩は、時間を要するリソグラフィーシミュレーションをディープニューラルネットワークに置き換えるための代替ソリューションを提供している。 本稿では,限られたデータのジレンマを解消し,機械学習モデルの性能を向上させるために,データ拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-27T20:53:39Z)
• Graph Neural Networks with Trainable Adjacency Matrices for Fault Diagnosis on Multivariate Sensor Data [69.25738064847175]
  各センサの信号の挙動を別々に検討し,相互の相関関係と隠れ関係を考慮する必要がある。 グラフノードは、異なるセンサーからのデータとして表現することができ、エッジは、これらのデータの影響を互いに表示することができる。 グラフニューラルネットワークのトレーニング中にグラフを構築する方法が提案されている。これにより、センサー間の依存関係が事前に分かっていないデータ上でモデルをトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-10-20T11:03:21Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• STAN: Synthetic Network Traffic Generation with Generative Neural Models [10.54843182184416]
  本稿では,現実的な合成ネットワークトラフィックデータセットを生成するためのSTAN(Synthetic Network Traffic Generation with Autoregressive Neural Model)を提案する。 私たちの新しいニューラルアーキテクチャは、常に属性間の時間的依存関係と依存の両方をキャプチャします。 我々は、シミュレーションデータセットと実ネットワークトラフィックデータセットの両方で、STANの性能を、データの品質の観点から評価する。
  論文  参考訳（メタデータ） (2020-09-27T04:20:02Z)
• On transfer learning of neural networks using bi-fidelity data for uncertainty propagation [0.0]
  本研究では,高忠実度モデルと低忠実度モデルの両方から生成された学習データを用いた伝達学習手法の適用について検討する。 前者のアプローチでは、低忠実度データに基づいて、入力を関心の出力にマッピングするニューラルネットワークモデルを訓練する。 次に、高忠実度データを使用して、低忠実度ネットワークの上層(s)のパラメータを適応させたり、より単純なニューラルネットワークをトレーニングして、低忠実度ネットワークの出力を高忠実度モデルのパラメータにマッピングする。
  論文  参考訳（メタデータ） (2020-02-11T15:56:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。