論文の概要: A Modulation Layer to Increase Neural Network Robustness Against Data Quality Issues

• arxiv url: http://arxiv.org/abs/2107.08574v4
• Date: Sat, 22 Apr 2023 19:48:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-26 01:00:50.988892
• Title: A Modulation Layer to Increase Neural Network Robustness Against Data Quality Issues
• Title（参考訳）: データ品質問題に対するニューラルネットワークロバスト性向上のための変調層
• Authors: Mohamed Abdelhack, Jiaming Zhang, Sandhya Tripathi, Bradley A Fritz, Daniel Felsky, Michael S Avidan, Yixin Chen, Christopher R King
• Abstract要約: データ不足と品質は機械学習における一般的な問題であり、特に医療などの高度なアプリケーションにおいて問題となる。 本稿では、低品質データと欠落データの影響を軽減するために、ニューラルネットワークの新たな修正を提案する。 この結果から, 情報品質の低減を全接続層で明示的に考慮することにより, リアルタイムアプリケーションへの人工知能システムの展開が可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 22.62510395932645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data missingness and quality are common problems in machine learning, especially for high-stakes applications such as healthcare. Developers often train machine learning models on carefully curated datasets using only high quality data; however, this reduces the utility of such models in production environments. We propose a novel neural network modification to mitigate the impacts of low quality and missing data which involves replacing the fixed weights of a fully-connected layer with a function of an additional input. This is inspired from neuromodulation in biological neural networks where the cortex can up- and down-regulate inputs based on their reliability and the presence of other data. In testing, with reliability scores as a modulating signal, models with modulating layers were found to be more robust against degradation of data quality, including additional missingness. These models are superior to imputation as they save on training time by completely skipping the imputation process and further allow the introduction of other data quality measures that imputation cannot handle. Our results suggest that explicitly accounting for reduced information quality with a modulating fully connected layer can enable the deployment of artificial intelligence systems in real-time applications.
• Abstract（参考訳）: データ不足と品質は機械学習における一般的な問題であり、特に医療などの高度なアプリケーションにおいて問題となる。 開発者はしばしば、高品質のデータのみを使用して、慎重にキュレートされたデータセット上で機械学習モデルをトレーニングする。 本稿では,完全連結層の固定重みを付加入力の関数に置き換えることを含む,低品質で欠落したデータの影響を軽減するための新しいニューラルネットワーク修正を提案する。 これは、ニューロンの信頼性と他のデータの存在に基づいて、皮質が入力を上下に調整できる生物学的ニューラルネットワークの神経変調にインスパイアされている。 テストでは、信頼性スコアを変調信号として、変調層を持つモデルは、さらなる欠如を含むデータ品質の劣化に対してより堅牢であることが判明した。 これらのモデルは、インプテーションプロセスを完全にスキップすることでトレーニング時間を節約し、インプテーションが処理できない他のデータ品質指標の導入を可能にするので、インプテーションよりも優れている。 この結果から, 情報品質の低減を全接続層で明示的に考慮することにより, リアルタイムアプリケーションへの人工知能システムの展開が可能であることが示唆された。

関連論文リスト

• Pseudo Replay-based Class Continual Learning for Online New Category Anomaly Detection in Advanced Manufacturing [5.012204041812572]
  本稿では,新しい擬似リプレイ型連続学習フレームワークを開発する。 クラスインクリメンタル学習とオーバーサンプリングベースのデータ生成を統合している。 提案手法の有効性を3つのケーススタディで検証した。
  論文  参考訳（メタデータ） (2023-12-05T04:43:23Z)
• Evaluation of machine learning architectures on the quantification of epistemic and aleatoric uncertainties in complex dynamical systems [0.0]
  不確実量化(英: Uncertainty Quantification、UQ)は、モデル誤差の自己評価値である。 ガウス過程とファミリーUQ強化ニューラルネットワークの両方を含む機械学習技術について検討する。 検証データ上の正規化残差の分布と推定不確かさの分布の2つの指標を用いて,UQ精度(モデル精度とは異なる)を評価する。
  論文  参考訳（メタデータ） (2023-06-27T02:35:25Z)
• Learning From High-Dimensional Cyber-Physical Data Streams for Diagnosing Faults in Smart Grids [4.616703548353371]
  サイバー物理電力システムにおける故障診断は、データ品質に影響される。 これらのシステムは、過剰な計算コストでシステムを過大評価する大量のデータを生成する。 本稿では,機能工学が上記の課題を緩和する効果について述べる。
  論文  参考訳（メタデータ） (2023-03-15T01:21:50Z)
• An Adversarial Active Sampling-based Data Augmentation Framework for Manufacturable Chip Design [55.62660894625669]
  リソグラフィーモデリングは、チップ設計マスクが製造可能であることを保証するため、チップ設計において重要な問題である。 機械学習の最近の進歩は、時間を要するリソグラフィーシミュレーションをディープニューラルネットワークに置き換えるための代替ソリューションを提供している。 本稿では,限られたデータのジレンマを解消し,機械学習モデルの性能を向上させるために,データ拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-27T20:53:39Z)
• Graph Neural Networks with Trainable Adjacency Matrices for Fault Diagnosis on Multivariate Sensor Data [69.25738064847175]
  各センサの信号の挙動を別々に検討し,相互の相関関係と隠れ関係を考慮する必要がある。 グラフノードは、異なるセンサーからのデータとして表現することができ、エッジは、これらのデータの影響を互いに表示することができる。 グラフニューラルネットワークのトレーニング中にグラフを構築する方法が提案されている。これにより、センサー間の依存関係が事前に分かっていないデータ上でモデルをトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-10-20T11:03:21Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• STAN: Synthetic Network Traffic Generation with Generative Neural Models [10.54843182184416]
  本稿では,現実的な合成ネットワークトラフィックデータセットを生成するためのSTAN(Synthetic Network Traffic Generation with Autoregressive Neural Model)を提案する。 私たちの新しいニューラルアーキテクチャは、常に属性間の時間的依存関係と依存の両方をキャプチャします。 我々は、シミュレーションデータセットと実ネットワークトラフィックデータセットの両方で、STANの性能を、データの品質の観点から評価する。
  論文  参考訳（メタデータ） (2020-09-27T04:20:02Z)
• On transfer learning of neural networks using bi-fidelity data for uncertainty propagation [0.0]
  本研究では,高忠実度モデルと低忠実度モデルの両方から生成された学習データを用いた伝達学習手法の適用について検討する。 前者のアプローチでは、低忠実度データに基づいて、入力を関心の出力にマッピングするニューラルネットワークモデルを訓練する。 次に、高忠実度データを使用して、低忠実度ネットワークの上層(s)のパラメータを適応させたり、より単純なニューラルネットワークをトレーニングして、低忠実度ネットワークの出力を高忠実度モデルのパラメータにマッピングする。
  論文  参考訳（メタデータ） (2020-02-11T15:56:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。