Fugu-MT 論文翻訳(概要): [Re] Network Deconvolution

論文の概要: [Re] Network Deconvolution

arxiv url: http://arxiv.org/abs/2410.01189v1
Date: Wed, 2 Oct 2024 02:48:13 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 22:40:58.362778
Title: [Re] Network Deconvolution
Title（参考訳）: ネットワークデコンボリューション [Re] ネットワークデコンボリューション
Authors: Rochana R. Obadage, Kumushini Thennakoon, Sarah M. Rajtmajer, Jian Wu,
Abstract要約: ネットワークデコンボリューション(Network Deconvolution)" は、各層にデータが供給される前にピクセルワイドおよびチャネルワイドの相関を取り除くために使用される。原論文の表1と表2で報告された結果の再現に成功した。
参考スコア（独自算出の注目度）: 3.2149341556907256
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Our work aims to reproduce the set of findings published in "Network Deconvolution" by Ye et al. (2020)[1]. That paper proposes an optimization technique for model training in convolutional neural networks. The proposed technique "network deconvolution" is used in convolutional neural networks to remove pixel-wise and channel-wise correlations before data is fed into each layer. In particular, we interrogate the validity of the authors' claim that using network deconvolution instead of batch normalization improves deep learning model performance. Our effort confirms the validity of this claim, successfully reproducing the results reported in Tables 1 and 2 of the original paper. Our study involved 367 unique experiments across multiple architectures, datasets, and hyper parameter configurations. For Table 1, while there were some minor deviations in accuracy when compared to the original values (within 10%), the overall trend was consistent with the original study's findings when training the models with epochs 20 and 100. For Table 2, all 14 reproduced values were consistent with the original values. Additionally, we document the training and testing times for each architecture in Table 1 with 1, 20, and 100 epoch settings for both CIFAR-10 and CIFAR-100 datasets. We document the total execution times for Table 2 architectures with the ImageNet dataset. The data and software used for this reproducibility study are publicly available at https://github.com/lamps-lab/rep-network-deconvolution.
Abstract（参考訳）: 本研究の目的は,Ye et al (2020)[1] の "Network Deconvolution" で発表された一連の発見を再現することである。本稿では,畳み込みニューラルネットワークにおけるモデルトレーニングの最適化手法を提案する。提案手法である「ネットワークデコンボリューション」は畳み込みニューラルネットワークにおいて,各層にデータが供給される前に画素ワイドおよびチャネルワイドの相関を除去するために用いられる。特に,バッチ正規化の代わりにネットワークデコンボリューションを用いることで,ディープラーニングモデルの性能が向上するという著者の主張の妥当性を疑問視する。本主張の有効性を確認し,本論文の表1,2に記載された結果の再現に成功した。本研究では,複数のアーキテクチャ,データセット,ハイパーパラメータ構成を対象とした367のユニークな実験を行った。表1では、元の値と比較した場合(10%)に若干の精度差があったが、全体的な傾向は、エポック20と100のモデルのトレーニングにおいて、元の研究結果と一致していた。表2では、14の再生された値は元の値と一致していた。さらに,CIFAR-10とCIFAR-100の両方のデータセットに対して,1,20,100エポックな設定で表1の各アーキテクチャのトレーニング時間とテスト時間を文書化する。我々は、ImageNetデータセットを用いて、テーブル2アーキテクチャの総実行時間を文書化する。この再現性の研究に使用されるデータとソフトウェアはhttps://github.com/lamps-lab/rep-network-deconvolutionで公開されている。

関連論文リスト

Replication: Contrastive Learning and Data Augmentation in Traffic Classification Using a Flowpic Input Representation [47.95762911696397]
同じデータセット上で[16]を再現し、3つの追加の公開データセット上で最も健全なアスペクト(データ拡張の重要性)を複製します。元の結果のほとんどを確認できたが、元のデータセットにデータシフトがあったため、調査されたシナリオの20%の精度低下が判明した。
論文参考訳（メタデータ） (2023-09-18T12:55:09Z)
Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文参考訳（メタデータ） (2022-12-05T14:47:52Z)
No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文参考訳（メタデータ） (2021-06-09T12:02:29Z)
Involution: Inverting the Inherence of Convolution for Visual Recognition [72.88582255910835]
本稿では,畳み込みの原理を逆転させることにより,深層ニューラルネットワークの新たな原子操作を提案する。提案する畳み込み演算子は、視覚認識のための新しい世代のニューラルネットワークを構築するための基本ブロックとして利用することができる。当社のInvolutionベースのモデルは、ResNet-50を使用した畳み込みベースラインのパフォーマンスを最大1.6%の精度、2.5%と2.4%のバウンディングボックスAP、4.7%は絶対にIoUを意味します。
論文参考訳（メタデータ） (2021-03-10T18:40:46Z)
Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
論文参考訳（メタデータ） (2020-08-21T19:35:54Z)
Machine learning for complete intersection Calabi-Yau manifolds: a methodological study [0.0]
我々は機械学習(ML)を用いてホッジ数$h1,1$と$h2,1$の完全なカラビ・ヤウ交差点を予測する問題を再考する。我々は、古いデータセットのインセプションモデルにインスパイアされたニューラルネットワークを使用して、トレーニング用のデータの30% (resp. 70%) のみを使用して、97% (resp. 99%) の精度で$h1,1$を得る。新しい例では、単純な線形回帰は、トレーニング用のデータの30%でほぼ100%の正確性をもたらす。
論文参考訳（メタデータ） (2020-07-30T19:43:49Z)
Passive Batch Injection Training Technique: Boosting Network Performance by Injecting Mini-Batches from a different Data Distribution [39.8046809855363]
この研究は、元の入力データとは異なる分布から追加のデータを利用するディープニューラルネットワークの新しいトレーニング手法を提案する。私たちの知る限りでは、畳み込みニューラルネットワーク(CNN)のトレーニングを支援するために、異なるデータ分散を利用する最初の研究である。
論文参考訳（メタデータ） (2020-06-08T08:17:32Z)
Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文参考訳（メタデータ） (2020-05-13T13:25:51Z)
Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
論文参考訳（メタデータ） (2020-03-25T17:54:38Z)
Question Type Classification Methods Comparison [0.0]
本稿では、ロジスティック回帰、畳み込みニューラルネットワーク(CNN)、Long Short-Term Memory Network(LSTM)、Quasi-Recurrent Neural Networks(QRNN)といった問題分類タスクに対する最先端のアプローチの比較研究について述べる。すべてのモデルは、事前訓練されたGLoVeワードの埋め込みを使用し、人間のラベル付きデータに基づいて訓練される。最良の精度は5つの畳み込み層と、並列に積み重ねられたさまざまなカーネルサイズを持つCNNモデルを使用して達成され、その後に1つの完全に接続された層が続く。
論文参考訳（メタデータ） (2020-01-03T00:16:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。