論文の概要: Point Cloud Network: An Order of Magnitude Improvement in Linear Layer Parameter Count

• arxiv url: http://arxiv.org/abs/2309.12996v1
• Date: Fri, 22 Sep 2023 16:56:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-25 13:51:22.195851
• Title: Point Cloud Network: An Order of Magnitude Improvement in Linear Layer Parameter Count
• Title（参考訳）: point cloud network: 線形層パラメータ数におけるマグニチュード改善の一手法
• Authors: Charles Hetterich
• Abstract要約: Point Cloud Network (PCN) はディープラーニングネットワークにおける線形層の実装である。 我々は、PCNと元のアーキテクチャの両方を用いて、元のAlexNetを含むいくつかのモデルを訓練する。 AlexNet と同等の PCN である AlexNet-PCN16 は,線形層におけるパラメータの 99.5% 削減により,元のアーキテクチャに匹敵する等価性(テスト精度)を達成している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces the Point Cloud Network (PCN) architecture, a novel implementation of linear layers in deep learning networks, and provides empirical evidence to advocate for its preference over the Multilayer Perceptron (MLP) in linear layers. We train several models, including the original AlexNet, using both MLP and PCN architectures for direct comparison of linear layers (Krizhevsky et al., 2012). The key results collected are model parameter count and top-1 test accuracy over the CIFAR-10 and CIFAR-100 datasets (Krizhevsky, 2009). AlexNet-PCN16, our PCN equivalent to AlexNet, achieves comparable efficacy (test accuracy) to the original architecture with a 99.5% reduction of parameters in its linear layers. All training is done on cloud RTX 4090 GPUs, leveraging pytorch for model construction and training. Code is provided for anyone to reproduce the trials from this paper.
• Abstract（参考訳）: 本稿では、ディープラーニングネットワークにおける線形層の実装であるポイントクラウドネットワーク(PCN)アーキテクチャを導入し、線形層における多層パーセプトロン(MLP)よりも優先されることを示す実証的な証拠を提供する。 線形層を直接比較するために,MLPとPCNアーキテクチャの両方を用いて,元のAlexNetを含む複数のモデルを訓練する(Krizhevsky et al., 2012)。 得られた主な結果は、CIFAR-10とCIFAR-100データセット(Krizhevsky, 2009)のモデルパラメータ数とトップ1テスト精度である。 AlexNet と同等の PCN である AlexNet-PCN16 は,線形層におけるパラメータの 99.5% 削減により,元のアーキテクチャに匹敵する等価性(テスト精度)を達成する。 すべてのトレーニングはクラウドRTX 4090 GPU上で行われ、モデルの構築とトレーニングにpytorchを活用する。 この論文から治験を再現するコードは誰でも提供される。

関連論文リスト

• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• StarNet: Style-Aware 3D Point Cloud Generation [82.30389817015877]
  StarNetは、マッピングネットワークを使用して高忠実度および3Dポイントクラウドを再構築し、生成することができる。 我々のフレームワークは、クラウドの再構築と生成タスクにおいて、様々なメトリクスで同等の最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2023-03-28T08:21:44Z)
• Boosting Low-Data Instance Segmentation by Unsupervised Pre-training with Saliency Prompt [103.58323875748427]
  この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。 近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。 実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:49:03Z)
• AdaPoinTr: Diverse Point Cloud Completion with Adaptive Geometry-Aware Transformers [94.11915008006483]
  本稿では,ポイントクラウドの完了をセット・ツー・セットの翻訳問題として再定義する手法を提案する。 我々は、ポイントクラウド補完のためにTransformerエンコーダデコーダアーキテクチャを採用したPoinTrと呼ばれる新しいモデルを設計する。 本手法は,PCNで6.53 CD,ShapeNet-55で0.81 CD,現実世界のKITTIで0.392 MMDを実現する。
  論文  参考訳（メタデータ） (2023-01-11T16:14:12Z)
• LOT: Layer-wise Orthogonal Training on Improving $\ell_2$ Certified Robustness [14.206377940235091]
  近年の研究では、リプシッツ制約によるディープニューラルネットワーク(DNN)のトレーニングは、対向的ロバスト性や安定性などのモデル特性を高めることができることが示されている。 本研究では,1-Lipschitz畳み込み層を効果的に学習するための層ワイド直交訓練法(LOT)を提案する。 LOTは、決定論的l2証明されたロバスト性に関して、ベースラインを著しく上回り、より深いニューラルネットワークにスケールすることを示す。
  論文  参考訳（メタデータ） (2022-10-20T22:31:26Z)
• Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
  ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。 分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
  論文  参考訳（メタデータ） (2022-02-10T21:45:49Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Exploiting Spline Models for the Training of Fully Connected Layers in Neural Network [0.0]
  人工ニューラルネットワーク(ANN)の最も基本的なモジュールの1つである完全連結(FC)層は、しばしば訓練が困難で非効率であると考えられている。 fc層を訓練することの難しさを緩和するスプラインベースアプローチを提案する。 提案手法は計算コストを低減し,fc層の収束を加速し,モデルの解釈可能性を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-02-12T14:36:55Z)
• PointManifold: Using Manifold Learning for Point Cloud Classification [5.705680763604835]
  本稿では,グラフニューラルネットワークと多様体学習に基づく点雲分類手法を提案する。 本稿では,平面上の連続性を考慮し,点雲の特徴を埋め込むために,多様体学習アルゴリズムを用いる。 実験により、提案した点雲分類法は90.2%の平均クラス精度(mA)と93.2%の総合クラス精度(oA)が得られることが示された。
  論文  参考訳（メタデータ） (2020-10-14T16:28:19Z)
• SoftPoolNet: Shape Descriptor for Point Cloud Completion and Classification [93.54286830844134]
  本稿では,点雲に基づく3次元オブジェクトの補完と分類手法を提案する。 デコーダの段階では,グローバルな活性化エントロピーの最大化を目的とした新しい演算子である地域畳み込みを提案する。 我々は,オブジェクトの完成度や分類,最先端の精度の達成など,異なる3次元タスクに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2020-08-17T14:32:35Z)
• Question Type Classification Methods Comparison [0.0]
  本稿では、ロジスティック回帰、畳み込みニューラルネットワーク(CNN)、Long Short-Term Memory Network(LSTM)、Quasi-Recurrent Neural Networks(QRNN)といった問題分類タスクに対する最先端のアプローチの比較研究について述べる。 すべてのモデルは、事前訓練されたGLoVeワードの埋め込みを使用し、人間のラベル付きデータに基づいて訓練される。 最良の精度は5つの畳み込み層と、並列に積み重ねられたさまざまなカーネルサイズを持つCNNモデルを使用して達成され、その後に1つの完全に接続された層が続く。
  論文  参考訳（メタデータ） (2020-01-03T00:16:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。