Fugu-MT 論文翻訳(概要): Use of Metamorphic Relations as Knowledge Carriers to Train Deep Neural Networks

論文の概要: Use of Metamorphic Relations as Knowledge Carriers to Train Deep Neural Networks

arxiv url: http://arxiv.org/abs/2104.04718v1
Date: Sat, 10 Apr 2021 09:15:17 GMT
ステータス: 処理完了
システム内更新日: 2021-04-13 14:02:01.118325
Title: Use of Metamorphic Relations as Knowledge Carriers to Train Deep Neural Networks
Title（参考訳）: ニューラルネットワーク学習のための知識キャリアとしての変成関係の利用
Authors: Tsong Yueh Chen, Pak-Lok Poon, Kun Qiu, Zheng Zheng, Jinyi Zhou
Abstract要約: 多層ディープニューラルネットワーク(DNN)の訓練は困難です。多数のサンプルをトレーニングに使用する標準的なプラクティスは、DNNのパフォーマンスを満足のいくレベルに改善しないことが多い。メタモルフィックリレーション(MR)を「知識キャリア」として利用してDNNを訓練する革新的なアプローチを導入する。
参考スコア（独自算出の注目度）: 8.420646501500771
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Training multiple-layered deep neural networks (DNNs) is difficult. The standard practice of using a large number of samples for training often does not improve the performance of a DNN to a satisfactory level. Thus, a systematic training approach is needed. To address this need, we introduce an innovative approach of using metamorphic relations (MRs) as "knowledge carriers" to train DNNs. Based on the concept of metamorphic testing and MRs (which play the role of a test oracle in software testing), we make use of the notion of metamorphic group of inputs as concrete instances of MRs (which are abstractions of knowledge) to train a DNN in a systematic and effective manner. To verify the viability of our training approach, we have conducted a preliminary experiment to compare the performance of two DNNs: one trained with MRs and the other trained without MRs. We found that the DNN trained with MRs has delivered a better performance, thereby confirming that our approach of using MRs as knowledge carriers to train DNNs is promising. More work and studies, however, are needed to solidify and leverage this approach to generate widespread impact on effective DNN training.
Abstract（参考訳）: 多層深層ニューラルネットワーク(dnn)のトレーニングは難しい。多数のサンプルをトレーニングに使用する標準的なプラクティスは、DNNのパフォーマンスを満足のいくレベルに改善しないことが多い。したがって、体系的なトレーニングアプローチが必要となる。このニーズに対処するため、我々はDNNの訓練にメタモルフィックリレーション(MR)を「知識キャリア」として利用する革新的なアプローチを導入する。メタモルフィックテストとMR(ソフトウェアテストにおけるテストオラクルの役割を担う)の概念に基づいて、私たちは、メタモルフィックなグループの入力を(知識の抽象化である)MRの具体例として利用して、DNNを体系的かつ効果的な方法で訓練します。我々は,mrsとmrsで訓練した2つのdnnの性能を比較する予備実験を行い,mrsで訓練した2つのdnnの性能を比較したところ,mrsで訓練されたdnnの方が優れた性能を得られており,mrsを知識キャリアとして使用するアプローチが有望であることを確認した。しかし、このアプローチを固め、活用し、効果的なDNNトレーニングに広範な影響を及ぼすためには、より多くの研究と研究が必要である。

関連論文リスト

BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation [20.34272550256856]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークを模倣し、離散スパイクを介して情報を伝達する。本研究は,静的およびニューロモルフィックなデータセット上でSNNをトレーニングするための最先端性能を実現する。
論文参考訳（メタデータ） (2024-07-12T08:17:24Z)
Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。提案するフレームワークは,合理的な性能で高い効率性を示す。
論文参考訳（メタデータ） (2023-04-20T07:21:32Z)
Large Deviations for Accelerating Neural Networks Training [5.864710987890994]
LAD改良反復訓練(LIIT)は,大規模な逸脱原理を用いたANNのための新しい訓練手法である。 LIITアプローチでは、LAD異常スコアに基づくサンプリング戦略を用いて、MTS(Modified Training Sample)を生成し、反復的に更新する。 MTSサンプルは、各クラスにおける観察のほとんどを異常に含めることで、トレーニングデータをうまく表現するように設計されている。
論文参考訳（メタデータ） (2023-03-02T04:14:05Z)
Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文参考訳（メタデータ） (2022-04-01T03:31:27Z)
Rethinking Pretraining as a Bridge from ANNs to SNNs [13.984523794353477]
スパイキングニューラルネットワーク(SNN)は、特有の特徴を持つ脳にインスパイアされた典型的なモデルとして知られている。高い精度のモデルを得る方法は、常にSNNの分野における主要な課題である。
論文参考訳（メタデータ） (2022-03-02T14:59:57Z)
Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
論文参考訳（メタデータ） (2021-12-15T20:15:01Z)
slimTrain -- A Stochastic Approximation Method for Training Separable Deep Neural Networks [2.4373900721120285]
DeepTrain Network (DNN)は、多くのアプリケーションで高次元神経機能近似器としての成功を示している。選択した超次元データセットに対する感度を低減したDNNのモデスト最適化手法であるslimTrainを提案する。
論文参考訳（メタデータ） (2021-09-28T19:31:57Z)
CPT: Efficient Deep Neural Network Training via Cyclic Precision [19.677029887330036]
低精度ディープニューラルネットワーク(DNN)トレーニングは、DNNのトレーニング時間/エネルギー効率を高めるための最も効果的なノブの1つであるため、大きな注目を集めている。我々は、DNNの精度がDNNトレーニングの学習速度と類似している可能性を推察し、DNNトレーニングの時間/エネルギー効率をさらに高めるためのトレーニング軌道に沿った動的精度を提唱する。
論文参考訳（メタデータ） (2021-01-25T02:56:18Z)
Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
論文参考訳（メタデータ） (2020-11-11T06:32:37Z)
On Self-Distilling Graph Neural Network [64.00508355508106]
GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
論文参考訳（メタデータ） (2020-11-04T12:29:33Z)
Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
論文参考訳（メタデータ） (2020-04-29T01:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。