論文の概要: A Matrix Ensemble Kalman Filter-based Multi-arm Neural Network to Adequately Approximate Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2307.10436v1
• Date: Wed, 19 Jul 2023 20:00:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 15:38:36.042376
• Title: A Matrix Ensemble Kalman Filter-based Multi-arm Neural Network to Adequately Approximate Deep Neural Networks
• Title（参考訳）: マトリクスアンサンブルカルマンフィルタを用いた多腕ニューラルネットワークによるニューラルネットワークの近似
• Authors: Ved Piyush, Yuchen Yan, Yuzhen Zhou, Yanbin Yin, Souparno Ghosh
• Abstract要約: ディープラーニング(DL)は多くの分野で応用されている最先端の予測メカニズムである。 サンプルサイズが小さすぎてマルチアームDLを訓練できない場合, DLを模倣できるKFベースのDL近似器のマルチアーム拡張を提案する。 我々は,MEnKF-ANNが炭水化物基質の消化を分類するために訓練されたLSTMネットワークを「適切に」近似する方法を実証した。
• 参考スコア（独自算出の注目度）: 2.3474130710308776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Learners (DLs) are the state-of-art predictive mechanism with applications in many fields requiring complex high dimensional data processing. Although conventional DLs get trained via gradient descent with back-propagation, Kalman Filter (KF)-based techniques that do not need gradient computation have been developed to approximate DLs. We propose a multi-arm extension of a KF-based DL approximator that can mimic DL when the sample size is too small to train a multi-arm DL. The proposed Matrix Ensemble Kalman Filter-based multi-arm ANN (MEnKF-ANN) also performs explicit model stacking that becomes relevant when the training sample has an unequal-size feature set. Our proposed technique can approximate Long Short-term Memory (LSTM) Networks and attach uncertainty to the predictions obtained from these LSTMs with desirable coverage. We demonstrate how MEnKF-ANN can "adequately" approximate an LSTM network trained to classify what carbohydrate substrates are digested and utilized by a microbiome sample whose genomic sequences consist of polysaccharide utilization loci (PULs) and their encoded genes.
• Abstract（参考訳）: Deep Learners (DL)は、複雑な高次元データ処理を必要とする多くの分野において応用される最先端の予測メカニズムである。 従来の DL はバックプロパゲーションによる勾配降下により訓練されるが,KF に基づく勾配計算を必要としない手法が開発された。 サンプルサイズが小さすぎてマルチアームDLを訓練できない場合, DLを模倣できるKFベースのDL近似器のマルチアーム拡張を提案する。 提案した Matrix Ensemble Kalman Filter-based multi-arm ANN (MEnKF-ANN) もまた、トレーニングサンプルが不等サイズ機能セットを持つ場合に関係する明示的なモデル積み重ねを行う。 提案手法は,Long Short-term Memory (LSTM) ネットワークを近似し,これらのLSTMから得られた予測に不確実性を付与する。 本研究では,多糖利用loci(puls)とそのコード遺伝子からなるゲノム配列を有するマイクロバイオーム試料によって,炭水化物基質の消化・利用を分類する訓練を受けたlstmネットワークを menkf-ann が「適切に」近似できることを実証する。

関連論文リスト

• DeepMpMRI: Tensor-decomposition Regularized Learning for Fast and High-Fidelity Multi-Parametric Microstructural MR Imaging [15.408939800451696]
  本稿では,様々な拡散モデルから高速かつ高忠実なマルチパラメトリック推定を行うための統一フレームワークを提案する。 DeepMpMRIは、細部を効果的に捉えるために新しく設計されたテンソル分解ベースの正規化器を備えている。
  論文  参考訳（メタデータ） (2024-05-06T04:36:02Z)
• Self-STORM: Deep Unrolled Self-Supervised Learning for Super-Resolution Microscopy [55.2480439325792]
  我々は、シーケンス固有のモデルベースのオートエンコーダをトレーニングすることで、そのようなデータの必要性を軽減する、深層無学習の自己教師付き学習を導入する。 提案手法は, 監視対象の性能を超過する。
  論文  参考訳（メタデータ） (2024-03-25T17:40:32Z)
• ECC-PolypDet: Enhanced CenterNet with Contrastive Learning for Automatic Polyp Detection [88.4359020192429]
  既存の手法では、計算コストのかかるコンテキストアグリゲーションが伴うか、ポリープの事前モデリングが欠如しているため、難解なケースでは性能が低下する。 本稿では,2段階のトレーニングとエンドツーエンド推論フレームワークである Enhanced CenterNet with Contrastive Learning (ECC-PolypDet) を提案する。 Box-assisted Contrastive Learning (BCL) は, クラス内差を最小限に抑え, 前庭ポリープと背景のクラス間差を最大化するため, 隠れポリープを捕捉する。 微調整段階におけるIoU誘導サンプル再重み付けの導入
  論文  参考訳（メタデータ） (2024-01-10T07:03:41Z)
• Accurate Discharge Coefficient Prediction of Streamlined Weirs by Coupling Linear Regression and Deep Convolutional Gated Recurrent Unit [2.4475596711637433]
  本研究では,CFDシミュレーションに代わるデータ駆動モデリング手法を提案する。 提案した3層階層型DLアルゴリズムは,後続の2つのGRUレベルを結合した畳み込み層で構成されており,LR法とハイブリダイゼーションすることで,誤差の低減につながることがわかった。
  論文  参考訳（メタデータ） (2022-04-12T01:59:36Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
  本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
  論文  参考訳（メタデータ） (2021-11-29T09:30:06Z)
• Differentially private training of neural networks with Langevin dynamics forcalibrated predictive uncertainty [58.730520380312676]
  その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。 これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
  論文  参考訳（メタデータ） (2021-07-09T08:14:45Z)
• Enhancing Fiber Orientation Distributions using convolutional Neural Networks [0.0]
  商業的に取得したMRIにおけるFODの改善について学ぶ。 パッチベースの3次元畳み込みニューラルネットワーク(CNN)の評価 本手法により,シングルシェルdMRI取得プロトコル上でのCDDモデル推定が可能となる。
  論文  参考訳（メタデータ） (2020-08-12T16:06:25Z)
• A Systematic Approach to Featurization for Cancer Drug Sensitivity Predictions with Deep Learning [49.86828302591469]
  35,000以上のニューラルネットワークモデルをトレーニングし、一般的な成果化技術を駆使しています。 RNA-seqは128以上のサブセットであっても非常に冗長で情報的であることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T20:42:17Z)
• A hybrid model based on deep LSTM for predicting high-dimensional chaotic systems [2.094821665776961]
  本研究では,深部長短期記憶(LSTM)モデルと動的システムの不正確な経験的モデルを組み合わせたハイブリッド手法を提案する。 提案手法は,カオスアトラクションを再構築する際の多層LSTMモデルの高速分散を効果的に回避できる。
  論文  参考訳（メタデータ） (2020-01-21T06:47:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。