論文の概要: Utilizing Excess Resources in Training Neural Networks

• arxiv url: http://arxiv.org/abs/2207.05532v1
• Date: Tue, 12 Jul 2022 13:48:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-13 13:21:29.544836
• Title: Utilizing Excess Resources in Training Neural Networks
• Title（参考訳）: ニューラルネットワーク訓練における余剰資源の利用
• Authors: Amit Henig and Raja Giryes
• Abstract要約: カーネルフィルタリング方式でフィルタリングレイヤの線形カスケードを実装することにより、トレーニング済みアーキテクチャが不要に深くなるのを防ぐことができる。 これにより、ほぼすべてのネットワークアーキテクチャで私たちのアプローチを使用でき、テスト時間内にフィルタリングレイヤを単一のレイヤに組み合わせることができます。 教師あり学習における様々なネットワークモデルとデータセットにおけるKFLOの利点を実証する。
• 参考スコア（独自算出の注目度）: 41.07083436560303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we suggest Kernel Filtering Linear Overparameterization (KFLO), where a linear cascade of filtering layers is used during training to improve network performance in test time. We implement this cascade in a kernel filtering fashion, which prevents the trained architecture from becoming unnecessarily deeper. This also allows using our approach with almost any network architecture and let combining the filtering layers into a single layer in test time. Thus, our approach does not add computational complexity during inference. We demonstrate the advantage of KFLO on various network models and datasets in supervised learning.
• Abstract（参考訳）: 本研究では,kflo(kernel filter linear overparameterization)を提案する。 このカスケードをカーネルフィルタリング方式で実装することで、トレーニング済みアーキテクチャが不要に深くなるのを防ぐことができる。 これにより、ほぼすべてのネットワークアーキテクチャでアプローチを使用でき、テスト時間内にフィルタリングレイヤを単一のレイヤに組み合わせることができます。 したがって,本手法は推論中に計算複雑性を増すものではない。 教師あり学習における様々なネットワークモデルとデータセットにおけるKFLOの利点を実証する。

関連論文リスト

• Local Kernel Renormalization as a mechanism for feature learning in overparametrized Convolutional Neural Networks [0.0]
  実験的な証拠は、無限幅限界における完全連結ニューラルネットワークが最終的に有限幅限界よりも優れていることを示している。 畳み込み層を持つ最先端アーキテクチャは、有限幅構造において最適な性能を達成する。 有限幅FCネットワークの一般化性能は,ガウス事前選択に適した無限幅ネットワークで得られることを示す。
  論文  参考訳（メタデータ） (2023-07-21T17:22:04Z)
• Learning Sparse Neural Networks with Identity Layers [33.11654855515443]
  本稿では,ネットワーク空間と層間特徴類似性の関係について検討する。 CKA-SRと呼ばれるスパースネットワークトレーニングのためのプラグアンドプレイCKAベースのスポーラリティ正規化を提案する。 CKA-SRは、複数のState-Of-The-Artスパース訓練法の性能を一貫して改善する。
  論文  参考訳（メタデータ） (2023-07-14T14:58:44Z)
• Efficient Implementation of a Multi-Layer Gradient-Free Online-Trainable Spiking Neural Network on FPGA [0.31498833540989407]
  ODESAは、グラデーションを使わずに、エンド・ツー・エンドの多層オンラインローカル教師ありトレーニングを行う最初のネットワークである。 本研究は,ネットワークアーキテクチャと重みとしきい値のオンライントレーニングを,大規模ハードウェア上で効率的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-31T00:34:15Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Kernelized Classification in Deep Networks [49.47339560731506]
  本稿では,ディープネットワークのためのカーネル分類層を提案する。 訓練中のSoftmaxクロスエントロピー損失関数のカーネルトリックを用いて非線形分類層を提唱する。 提案する非線形分類層は,複数のデータセットやタスクに対して有用であることを示す。
  論文  参考訳（メタデータ） (2020-12-08T21:43:19Z)
• Improving Sample Efficiency with Normalized RBF Kernels [0.0]
  本稿では,正規化されたラジアル基底関数(RBF)カーネルを用いたニューラルネットワークをトレーニングして,より優れたサンプル効率を実現する方法について検討する。 この種の出力層は、どのようにしてクラスがコンパクトで適切に分離された埋め込み空間を見つけるかを示す。 CIFAR-10とCIFAR-100の実験により、正規化されたカーネルを出力層として持つネットワークは、より高いサンプリング効率、高いコンパクト性、そして良好な分離性が得られることが示された。
  論文  参考訳（メタデータ） (2020-07-30T11:40:29Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。