論文の概要: A framework for measuring the training efficiency of a neural architecture

• arxiv url: http://arxiv.org/abs/2409.07925v1
• Date: Thu, 12 Sep 2024 10:45:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 16:58:31.274756
• Title: A framework for measuring the training efficiency of a neural architecture
• Title（参考訳）: ニューラルアーキテクチャのトレーニング効率測定のためのフレームワーク
• Authors: Eduardo Cueto-Mendoza, John D. Kelleher,
• Abstract要約: 本稿では,ニューラルアーキテクチャのトレーニング効率を測定するための実験フレームワークを提案する。 我々は,MNISTタスクとCIFAR-10タスクにおける畳み込みニューラルネットワークとベイズ等価性のトレーニング効率を解析した。
• 参考スコア（独自算出の注目度）: 1.5373453926913085
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Measuring Efficiency in neural network system development is an open research problem. This paper presents an experimental framework to measure the training efficiency of a neural architecture. To demonstrate our approach, we analyze the training efficiency of Convolutional Neural Networks and Bayesian equivalents on the MNIST and CIFAR-10 tasks. Our results show that training efficiency decays as training progresses and varies across different stopping criteria for a given neural model and learning task. We also find a non-linear relationship between training stopping criteria, training Efficiency, model size, and training Efficiency. Furthermore, we illustrate the potential confounding effects of overtraining on measuring the training efficiency of a neural architecture. Regarding relative training efficiency across different architectures, our results indicate that CNNs are more efficient than BCNNs on both datasets. More generally, as a learning task becomes more complex, the relative difference in training efficiency between different architectures becomes more pronounced.
• Abstract（参考訳）: ニューラルネットワークシステムの開発における効率の測定は、オープンな研究課題である。 本稿では,ニューラルアーキテクチャのトレーニング効率を測定するための実験フレームワークを提案する。 本研究では,MNISTタスクとCIFAR-10タスクにおいて,畳み込みニューラルネットワークとベイズ等価量のトレーニング効率を解析した。 その結果,学習効率はトレーニングの進行とともに低下し,与えられた神経モデルと学習課題の停止基準が異なることが明らかとなった。 また、トレーニング停止基準、トレーニング効率、モデルサイズ、トレーニング効率の非直線的関係も見出す。 さらに,ニューラルアーキテクチャのトレーニング効率の測定におけるオーバートレーニングの影響について述べる。 異なるアーキテクチャ間の相対的なトレーニング効率については、CNNが両方のデータセット上のBCNNよりも効率的であることを示す。 より一般的には、学習タスクが複雑化するにつれて、異なるアーキテクチャ間のトレーニング効率の相対的な違いがより顕著になる。

関連論文リスト

• Enhancing Fast Feed Forward Networks with Load Balancing and a Master Leaf Node [49.08777822540483]
  高速フィードフォワードネットワーク(FFF)は、入力空間の異なる領域が広いネットワークのニューロンの異なるサブセットを活性化する観察を利用する。 本稿では,FFFアーキテクチャにロードバランシングとマスタリーフ技術を導入し,性能向上とトレーニングプロセスの簡素化を図る。
  論文  参考訳（メタデータ） (2024-05-27T05:06:24Z)
• HCE: Improving Performance and Efficiency with Heterogeneously Compressed Neural Network Ensemble [22.065904428696353]
  最近のアンサンブルトレーニング手法では,同じモデルアーキテクチャを持つ複数のサブモデルの異なるトレーニングアルゴリズムや設定を探索している。 我々は、事前訓練されたDNNモデルから、切断された量子化された変種と効率的なアンサンブルを構築するヘテロジェネリー圧縮アンサンブル(HCE)を提案する。
  論文  参考訳（メタデータ） (2023-01-18T21:47:05Z)
• Breaking the Architecture Barrier: A Method for Efficient Knowledge Transfer Across Networks [0.0]
  本稿では,異なるアーキテクチャのニューラルネットワーク間でパラメータを転送する手法を提案する。 我々の手法はDPIATと呼ばれ、動的プログラミングを用いてアーキテクチャ間のブロックとレイヤをマッチングし、パラメータを効率的に転送する。 ImageNetの実験では,50時間後の平均1.6倍の検証精度が向上した。
  論文  参考訳（メタデータ） (2022-12-28T17:35:41Z)
• How to Train Your Neural Network: A Comparative Evaluation [1.3654846342364304]
  大規模分散ディープラーニングのための最先端フレームワークについて論じ,比較する。 大規模画像と言語訓練における性能を比較した実験結果を示す。 この結果に基づいて,性能を阻害する各フレームワークのアルゴリズム的部分と実装的部分について議論する。
  論文  参考訳（メタデータ） (2021-11-09T04:24:42Z)
• Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition [77.95361323613147]
  現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。 本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。 本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
  論文  参考訳（メタデータ） (2021-03-31T08:15:17Z)
• Efficient Estimation of Influence of a Training Instance [56.29080605123304]
  本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。 このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。 提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
  論文  参考訳（メタデータ） (2020-12-08T04:31:38Z)
• Multi-objective Neural Architecture Search with Almost No Training [9.93048700248444]
  本稿ではRWE(Random-Weight Evaluation)という,ネットワークアーキテクチャの性能を迅速に評価する手法を提案する。 RWEは、アーキテクチャを評価するための計算コストを数時間から秒に短縮する。 進化的多目的アルゴリズムに統合されると、RWEはCIFAR-10上で2時間以内で1枚のGPUカードを検索し、最先端の性能を持つ効率的なアーキテクチャの集合を得る。
  論文  参考訳（メタデータ） (2020-11-27T07:39:17Z)
• Multi-fidelity Neural Architecture Search with Knowledge Distillation [69.09782590880367]
  ニューラルアーキテクチャ探索のためのベイズ的多重忠実度法 MF-KD を提案する。 知識蒸留は損失関数に追加され、ネットワークが教師ネットワークを模倣することを強制する用語となる。 このような変化した損失関数を持ついくつかのエポックに対するトレーニングは、ロジスティックな損失を持ついくつかのエポックに対するトレーニングよりも、より優れたニューラルアーキテクチャの選択につながることを示す。
  論文  参考訳（メタデータ） (2020-06-15T12:32:38Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。