論文の概要: Quotient Network -- A Network Similar to ResNet but Learning Quotients

• arxiv url: http://arxiv.org/abs/2506.00992v1
• Date: Sun, 01 Jun 2025 12:46:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.24276
• Title: Quotient Network -- A Network Similar to ResNet but Learning Quotients
• Title（参考訳）: Quotient Network - ResNetに似たネットワークだが、Quotientを学習する
• Authors: Peng Hui, Jiamuyang Zhao, Changxin Li, Qingzhen Zhu,
• Abstract要約: ResNetは、非常に深いネットワークをトレーニングするための強力なツールです。 我々は、ResNetの利点を生かしながら、これらの2つの問題を完璧に解決する新しいネットワークを提案する。 具体的には、既存の機能で対象の機能の商を学習するので、これを商ネットワークと呼ぶ。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The emergence of ResNet provides a powerful tool for training extremely deep networks. The core idea behind it is to change the learning goals of the network. It no longer learns new features from scratch but learns the difference between the target and existing features. However, the difference between the two kinds of features does not have an independent and clear meaning, and the amount of learning is based on the absolute rather than the relative difference, which is sensitive to the size of existing features. We propose a new network that perfectly solves these two problems while still having the advantages of ResNet. Specifically, it chooses to learn the quotient of the target features with the existing features, so we call it the quotient network. In order to enable this network to learn successfully and achieve higher performance, we propose some design rules for this network so that it can be trained efficiently and achieve better performance than ResNet. Experiments on the CIFAR10, CIFAR100, and SVHN datasets prove that this network can stably achieve considerable improvements over ResNet by simply making tiny corresponding changes to the original ResNet network without adding new parameters.
• Abstract（参考訳）: ResNetの出現は、非常に深いネットワークをトレーニングするための強力なツールを提供する。 その中核となる考え方は、ネットワークの学習目標を変更することです。 新機能をゼロから学ぶことはもはやないが、ターゲットと既存の機能の違いを学ぶ。 しかし,2つの特徴の相違は独立的・明確な意味を持たず,既存の特徴の大きさに敏感な相対的な差ではなく,絶対的な学習量に基づいている。 我々は、ResNetの利点を生かしながら、これらの2つの問題を完璧に解決する新しいネットワークを提案する。 具体的には、既存の機能で対象の機能の商を学習するので、これを商ネットワークと呼ぶ。 本稿では,ネットワークの学習を成功させ,高い性能を達成するために,ResNetよりも効率的に学習し,優れた性能を実現するために,ネットワークの設計ルールを提案する。 CIFAR10、CIFAR100、SVHNデータセットの実験により、このネットワークは、新しいパラメータを追加することなく、元のResNetネットワークに小さな対応する変更を加えるだけで、ResNetに対する大幅な改善を安定して達成できることが証明された。

関連論文リスト

• Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
  我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。 実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:49:08Z)
• Highly Accurate and Reliable Wireless Network Slicing in 5th Generation Networks: A Hybrid Deep Learning Approach [21.137037568638974]
  畳み込みニューラルネットワーク(CNN)と長期記憶(LSTM)を組み合わせたハイブリッドディープラーニングモデルを提案する。 全体の95.17%の精度は、その適用性を反映した提案されたモデルによって達成される。
  論文  参考訳（メタデータ） (2021-10-07T10:05:25Z)
• Learning distinct features helps, provably [98.78384185493624]
  最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。 隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
  論文  参考訳（メタデータ） (2021-06-10T19:14:45Z)
• Why Do Better Loss Functions Lead to Less Transferable Features? [93.47297944685114]
  本稿では,画像ネット上で学習した畳み込みニューラルネットワークの隠れ表現が,学習対象の選択が伝達可能性に与える影響について検討する。 我々は,多くの目的が,バニラソフトマックスのクロスエントロピーよりも画像ネットの精度を統計的に有意に向上させることを示した。
  論文  参考訳（メタデータ） (2020-10-30T17:50:31Z)
• ResNet or DenseNet? Introducing Dense Shortcuts to ResNet [80.35001540483789]
  本稿では、それらを解析するために高密度和の統一的な視点を示す。 本稿では,ResNetとDenseNetのジレンマに対する解法として,重み付き正規化ショートカットを提案する。 提案したDSNetはResNetよりもはるかに優れた結果を得ることができ、DenseNetと同等の性能を得るが、リソースは少ない。
  論文  参考訳（メタデータ） (2020-10-23T16:00:15Z)
• Adjoined Networks: A Training Paradigm with Applications to Network Compression [3.995047443480282]
  本稿では、元のベースネットワークとより小さな圧縮ネットワークの両方を同時にトレーニングする学習パラダイムであるAdjoined Networks(AN)を紹介する。 ベースネットワークとしてResNet-50を使用すると、画像Netデータセット上の1.8Mパラメータと1.6GFLOPで71.8%のトップ-1の精度が達成される。 我々は,ニューラルネットワーク探索を用いて,より小さなネットワークの各レイヤの幅と重みを共同で学習し,ANを増強する訓練パラダイムであるDaniable Adjoined Networks (DAN)を提案する。
  論文  参考訳（メタデータ） (2020-06-10T02:48:16Z)
• Improved Residual Networks for Image and Video Recognition [98.10703825716142]
  ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。 ベースライン上での精度と学習収束性を一貫した改善を示す。 提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
  論文  参考訳（メタデータ） (2020-04-10T11:09:50Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Knapsack Pruning with Inner Distillation [11.04321604965426]
  そこで本研究では,プルーンドネットワークの最終精度を最適化する新しいプルーニング手法を提案する。 ネットワークの高レベル構造を維持しながら、ネットワークチャネルを熟考する。 提案手法は,ResNetバックボーンを用いたImageNet,CIFAR-10,CIFAR-100における最先端のプルーニング結果をもたらす。
  論文  参考訳（メタデータ） (2020-02-19T16:04:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。