Fugu-MT 論文翻訳(概要): Deep residual learning with product units

論文の概要: Deep residual learning with product units

arxiv url: http://arxiv.org/abs/2505.04397v1
Date: Wed, 07 May 2025 13:21:25 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-08 19:07:36.087205
Title: Deep residual learning with product units
Title（参考訳）: 製品ユニットによる深層学習
Authors: Ziyuan Li, Uwe Jaekel, Babette Dellen,
Abstract要約: 深部製品単位残基ニューラルネットワーク(PURe) 従来の畳み込み層を各残ブロックの第2層に2次元積単位で置き換える。 PUReを3つのベンチマークデータセットで検証する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a deep product-unit residual neural network (PURe) that integrates product units into residual blocks to improve the expressiveness and parameter efficiency of deep convolutional networks. Unlike standard summation neurons, product units enable multiplicative feature interactions, potentially offering a more powerful representation of complex patterns. PURe replaces conventional convolutional layers with 2D product units in the second layer of each residual block, eliminating nonlinear activation functions to preserve structural information. We validate PURe on three benchmark datasets. On Galaxy10 DECaLS, PURe34 achieves the highest test accuracy of 84.89%, surpassing the much deeper ResNet152, while converging nearly five times faster and demonstrating strong robustness to Poisson noise. On ImageNet, PURe architectures outperform standard ResNet models at similar depths, with PURe34 achieving a top-1 accuracy of 80.27% and top-5 accuracy of 95.78%, surpassing deeper ResNet variants (ResNet50, ResNet101) while utilizing significantly fewer parameters and computational resources. On CIFAR-10, PURe consistently outperforms ResNet variants across varying depths, with PURe272 reaching 95.01% test accuracy, comparable to ResNet1001 but at less than half the model size. These results demonstrate that PURe achieves a favorable balance between accuracy, efficiency, and robustness. Compared to traditional residual networks, PURe not only achieves competitive classification performance with faster convergence and fewer parameters, but also demonstrates greater robustness to noise. Its effectiveness across diverse datasets highlights the potential of product-unit-based architectures for scalable and reliable deep learning in computer vision.
Abstract（参考訳）: 本稿では,深層畳み込みネットワークの表現性およびパラメータ効率を向上させるために,製品ユニットを残留ブロックに統合する深部積単位残差ニューラルネットワーク(PURe)を提案する。標準和和ニューロンとは異なり、積単位は乗法的特徴相互作用を可能にし、より強力な複雑なパターン表現を提供する可能性がある。 PUReは従来の畳み込み層を残留ブロックの第2層の2次元積単位に置き換え、構造情報の保存のために非線形活性化関数を除去する。 PUReを3つのベンチマークデータセットで検証する。 Galaxy10 DECaLSでは、PURe34は84.89%という高いテスト精度を達成し、より深いResNet152を上回った。 ImageNetでは、PURe34は80.27%、トップ5は95.78%、より深いResNetのバリエーション(ResNet50、ResNet101)を上回り、パラメータや計算資源は大幅に少ない。 CIFAR-10では、PURe272はResNet1001に匹敵する95.01%の精度で、モデルサイズの半分以下である。これらの結果から,PUReは精度,効率,頑健さのバランスが良好であることが示唆された。従来の残差ネットワークと比較して、PUReはより高速な収束と少ないパラメータで競合する分類性能を達成するだけでなく、ノイズに対する堅牢性も向上する。多様なデータセットにまたがるその効果は、コンピュータビジョンにおけるスケーラブルで信頼性の高いディープラーニングのための製品ユニットベースのアーキテクチャの可能性を強調している。

関連論文リスト

Efficient FPGA-accelerated Convolutional Neural Networks for Cloud Detection on CubeSats [0.5420492913071214]
資源制約付きCubeSatミッションにおけるクラウド検出のためのFPGA加速畳み込みニューラルネットワーク(CNN)モデルの実装について述べる。本研究では,ピクセルワイド(Pixel-NetとPatch-Net)と画像ワイド(U-NetとScene-Net)の両方のモデルを用いて,精度,レイテンシ,モデル複雑性のトレードオフをベンチマークする。全てのモデルはFPGA後の高精度な統合を保ち、量子化とプルーニング後に最大精度がわずか0.6%低下した。
論文参考訳（メタデータ） (2025-04-04T19:32:47Z)
Data-Driven Approximation of Binary-State Network Reliability Function: Algorithm Selection and Reliability Thresholds for Large-Scale Systems [0.08158530638728499]
本研究は,3つの信頼性体制(0.0-1.0),高信頼性(0.9-1.0),超高信頼性(0.99-1.0)にわたる20の機械学習手法を評価する。本研究では,円弧の信頼性が0.9以下である大規模ネットワークが,ほぼ均一なシステムの信頼性を示し,計算の単純化を実現していることを示す。
論文参考訳（メタデータ） (2025-03-16T13:51:59Z)
Systematic Architectural Design of Scale Transformed Attention Condenser DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。 ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。 ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
論文参考訳（メタデータ） (2023-06-16T18:29:26Z)
SmoothNets: Optimizing CNN architecture design for differentially private deep learning [69.10072367807095]
DPSGDは、サンプルごとの勾配の切り抜きとノイズ付けを必要とする。これにより、非プライベートトレーニングと比較してモデルユーティリティが削減される。 SmoothNetと呼ばれる新しいモデルアーキテクチャを蒸留し,DP-SGDトレーニングの課題に対するロバスト性の向上を特徴とした。
論文参考訳（メタデータ） (2022-05-09T07:51:54Z)
From Environmental Sound Representation to Robustness of 2D CNN Models Against Adversarial Attacks [82.21746840893658]
本稿では, 各種環境音響表現(スペクトログラム)が, 被害者残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。 DWTスペクトログラムでトレーニングしたResNet-18モデルでは高い認識精度が得られたが、このモデルに対する攻撃は敵にとって比較的コストがかかる。
論文参考訳（メタデータ） (2022-04-14T15:14:08Z)
BasisNet: Two-stage Model Synthesis for Efficient Inference [39.34855162835054]
効率的なニューラルネットワークアーキテクチャの最近の進歩、条件計算、早期終了をシンプルな新しい形式で組み合わせたBasisNetを紹介します。提案手法では,入力に依存した組合せ係数のプレビューと生成を行う軽量モデルを導入し,その後,より正確なスペシャリストモデルの合成を制御し,最終的な予測を行う。 ImageNet分類ベンチマークでは、BasisNetとMobileNetsをバックボーンとして、精度と効率のトレードオフに明確な優位性を示しました。
論文参考訳（メタデータ） (2021-05-07T00:21:56Z)
ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文参考訳（メタデータ） (2020-03-07T02:12:02Z)
Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
論文参考訳（メタデータ） (2020-02-24T00:40:22Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)
Pre-defined Sparsity for Low-Complexity Convolutional Neural Networks [9.409651543514615]
この研究は、フィルタ内で定期的に繰り返されるサポートセットを持つ、事前に定義されたスパース2Dカーネルを持つ畳み込みレイヤを導入している。周期的なスパースカーネルの効率的な保存のため、パラメータの節約はエネルギー効率を大幅に向上させることができる。
論文参考訳（メタデータ） (2020-01-29T07:10:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。