論文の概要: Hybrid-DNNs: Hybrid Deep Neural Networks for Mixed Inputs
- arxiv url: http://arxiv.org/abs/2005.08419v1
- Date: Mon, 18 May 2020 01:40:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 23:14:21.167423
- Title: Hybrid-DNNs: Hybrid Deep Neural Networks for Mixed Inputs
- Title（参考訳）: ハイブリッドDNN:混合入力のためのハイブリッドディープニューラルネットワーク
- Authors: Zhenyu Yuan, Yuxin Jiang, Jingjing Li, Handong Huang
- Abstract要約: 混合入力をサポートするために,ハイブリッドディープニューラルネットワーク(HDNN)の汎用アーキテクチャを開発した。
提案する新たなネットワークは,高階層の特徴抽出と深部データマイニングに優れた能力を提供する。
- 参考スコア（独自算出の注目度）: 7.793215948514827
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rapid development of big data and high-performance computing have encouraged
explosive studies of deep learning in geoscience. However, most studies only
take single-type data as input, frittering away invaluable multisource,
multi-scale information. We develop a general architecture of hybrid deep
neural networks (HDNNs) to support mixed inputs. Regarding as a combination of
feature learning and target learning, the new proposed networks provide great
capacity in high-hierarchy feature extraction and in-depth data mining.
Furthermore, the hybrid architecture is an aggregation of multiple networks,
demonstrating good flexibility and wide applicability. The configuration of
multiple networks depends on application tasks and varies with inputs and
targets. Concentrating on reservoir production prediction, a specific HDNN
model is configured and applied to an oil development block. Considering their
contributions to hydrocarbon production, core photos, logging images and
curves, geologic and engineering parameters can all be taken as inputs. After
preprocessing, the mixed inputs are prepared as regular-sampled structural and
numerical data. For feature learning, convolutional neural networks (CNN) and
multilayer perceptron (MLP) network are configured to separately process
structural and numerical inputs. Learned features are then concatenated and fed
to subsequent networks for target learning. Comparison with typical MLP model
and CNN model highlights the superiority of proposed HDNN model with high
accuracy and good generalization.
- Abstract（参考訳）: ビッグデータと高性能コンピューティングの急速な発展は、地球科学における深層学習の爆発的な研究を促している。
しかし、ほとんどの研究はシングルタイプデータのみを入力としており、貴重なマルチソース・マルチスケール情報を取り除いている。
混合入力をサポートするために,ハイブリッドディープニューラルネットワーク(HDNN)の汎用アーキテクチャを開発した。
特徴学習と目標学習の組み合わせとして,提案したネットワークは,高階層の特徴抽出と深層データマイニングに優れた能力を提供する。
さらに、ハイブリッドアーキテクチャは複数のネットワークの集約であり、優れた柔軟性と幅広い適用性を示している。
複数のネットワークの構成はアプリケーションタスクに依存し、入力やターゲットによって異なる。
貯留層生産予測に集中して、特定のhdnnモデルを構成し、石油開発ブロックに適用する。
炭化水素生産への貢献、コア写真、ロギング画像と曲線を考えると、地質学的および工学的パラメータはすべて入力として扱うことができる。
プリプロセッシング後、混合入力を正規サンプリング構造および数値データとして作成する。
特徴学習のために、畳み込みニューラルネットワーク(CNN)と多層パーセプトロン(MLP)ネットワークは、構造的および数値的な入力を別々に処理するように構成されている。
学習された機能は結合され、ターゲットとなる学習のために後続のネットワークに供給される。
典型的なmlpモデルとcnnモデルとの比較は、hdnnモデルの精度と一般化が優れていることを強調する。
関連論文リスト
- Towards Efficient Deployment of Hybrid SNNs on Neuromorphic and Edge AI Hardware [0.493599216374976]
本稿では,ニューロモルフィックとエッジコンピューティングの相乗的ポテンシャルを考察し,動的視覚センサが捉えたデータ処理に適した多目的機械学習(ML)システムを構築する。
我々は、PyTorchとLavaフレームワークを使用して、スパイキングニューラルネットワーク(SNN)と人工ニューラルネットワーク(ANN)を混合してハイブリッドモデルを構築し、訓練する。
論文 参考訳（メタデータ） (2024-07-11T17:40:39Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - NL-CNN: A Resources-Constrained Deep Learning Model based on Nonlinear
Convolution [0.0]
NL-CNNと略される新しい畳み込みニューラルネットワークモデルが提案され、非線型畳み込みは畳み込み+非線形性層のカスケードでエミュレートされる。
いくつかの広く知られているデータセットのパフォーマンス評価が提供され、いくつかの関連する特徴を示している。
論文 参考訳（メタデータ） (2021-01-30T13:38:42Z) - Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。
提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。
2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文 参考訳（メタデータ） (2020-12-23T09:33:11Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳（メタデータ） (2020-09-24T17:48:59Z) - Evolutionary Architecture Search for Graph Neural Networks [23.691915813153496]
本稿では,大規模グラフニューラルネットワーク(GNN)アーキテクチャ空間における個々のモデルの進化を通じて,新しいAutoMLフレームワークを提案する。
我々の知る限りでは、GNNモデルの進化的アーキテクチャ探索を導入し、評価する最初の試みである。
論文 参考訳（メタデータ） (2020-09-21T22:11:53Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-02-22T14:38:11Z) - The Microsoft Toolkit of Multi-Task Deep Neural Networks for Natural
Language Understanding [97.85957811603251]
MT-DNNはオープンソースの自然言語理解(NLU)ツールキットであり、研究者や開発者がカスタマイズされたディープラーニングモデルを訓練しやすくする。
PyTorchとTransformersをベースとして開発されたMT-DNNは、幅広いNLUタスクの迅速なカスタマイズを容易にするように設計されている。
MT-DNNのユニークな特徴は、対戦型マルチタスク学習パラダイムを用いた堅牢で移動可能な学習のサポートである。
論文 参考訳（メタデータ） (2020-02-19T03:05:28Z) - Inferring Convolutional Neural Networks' accuracies from their
architectural characterizations [0.0]
CNNのアーキテクチャと性能の関係について検討する。
本稿では,2つのコンピュータビジョンに基づく物理問題において,その特性がネットワークの性能を予測できることを示す。
我々は機械学習モデルを用いて、トレーニング前にネットワークが一定のしきい値精度よりも優れた性能を発揮できるかどうかを予測する。
論文 参考訳（メタデータ） (2020-01-07T16:41:58Z) - Disentangling Trainability and Generalization in Deep Neural Networks [45.15453323967438]
我々は,ニューラルネットワークのトレーニング性と一般化のために,NTK(Neural Tangent Kernel)のスペクトルを分析した。
グローバル平均プールのないCNNはFCNとほぼ同じ挙動を示すが、プールを持つCNNは著しく異なり、しばしば一般化性能が向上している。
論文 参考訳（メタデータ） (2019-12-30T18:53:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。