論文の概要: Algebraic Representations for Faster Predictions in Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2408.07815v1
• Date: Wed, 14 Aug 2024 21:10:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-16 15:38:42.351772
• Title: Algebraic Representations for Faster Predictions in Convolutional Neural Networks
• Title（参考訳）: 畳み込みニューラルネットワークにおけるより高速な予測のための代数的表現
• Authors: Johnny Joyce, Jan Verschelde,
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおけるタスクのモデルとして一般的な選択肢である。 より簡単な勾配最適化問題を作成するために、スキップ接続を追加することもできる。 スキップ接続を持つ任意の複雑で訓練された線形CNNは単層モデルに単純化可能であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNNs) are a popular choice of model for tasks in computer vision. When CNNs are made with many layers, resulting in a deep neural network, skip connections may be added to create an easier gradient optimization problem while retaining model expressiveness. In this paper, we show that arbitrarily complex, trained, linear CNNs with skip connections can be simplified into a single-layer model, resulting in greatly reduced computational requirements during prediction time. We also present a method for training nonlinear models with skip connections that are gradually removed throughout training, giving the benefits of skip connections without requiring computational overhead during during prediction time. These results are demonstrated with practical examples on Residual Networks (ResNet) architecture.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおけるタスクのモデルとして一般的な選択肢である。 CNNが多くのレイヤで作成され、ディープニューラルネットワークとなると、モデル表現性を保ちながら、より簡単な勾配最適化問題を生成するために、スキップ接続を追加することができる。 本稿では,スキップ接続を持つ任意の複雑で訓練された線形CNNを単層モデルに単純化し,予測時間における計算要求を大幅に削減できることを示す。 また,予測時間中に計算オーバーヘッドを伴わずにスキップ接続を徐々に除去する非線形モデルをトレーニングする手法を提案する。 これらの結果はResidual Networks (ResNet) アーキテクチャの実践例で実証されている。

関連論文リスト

• Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
  本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。 このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。 以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-21T13:51:45Z)
• Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
  スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。 深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
  論文  参考訳（メタデータ） (2023-06-22T04:25:27Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Rapid training of quantum recurrent neural network [26.087244189340858]
  本稿では,これらの障害に対処する量子リカレントニューラルネットワーク(QRNN)を提案する。 ネットワークの設計は連続変数量子コンピューティングのパラダイムに基づいている。 数値シミュレーションにより、QRNNは古典的ネットワークよりも少ないエポックで最適な重みに収束していることが示された。
  論文  参考訳（メタデータ） (2022-07-01T12:29:33Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Training Graph Neural Networks by Graphon Estimation [2.5997274006052544]
  本稿では,基礎となるネットワークデータから得られたグラフトン推定値から再サンプリングすることで,グラフニューラルネットワークをトレーニングする。 我々のアプローチは競争力があり、多くの場合、他の過度にスムースなGNNトレーニング手法よりも優れています。
  論文  参考訳（メタデータ） (2021-09-04T19:21:48Z)
• ItNet: iterative neural networks with small graphs for accurate and efficient anytime prediction [1.52292571922932]
  本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。 CamVidおよびCityscapesデータセットでセマンティックセグメンテーションの最新の結果を示します。
  論文  参考訳（メタデータ） (2021-01-21T15:56:29Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。