論文の概要: Hyperplane Arrangements of Trained ConvNets Are Biased

• arxiv url: http://arxiv.org/abs/2003.07797v2
• Date: Fri, 14 Apr 2023 12:52:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-17 18:03:41.523957
• Title: Hyperplane Arrangements of Trained ConvNets Are Biased
• Title（参考訳）: ハイパープレーンでトレーニングされたConvNetのアレンジメント
• Authors: Matteo Gamba, Stefan Carlsson, Hossein Azizpour, M{\aa}rten Bj\"orkman
• Abstract要約: 畳み込み層のプレアクティベーション空間における訓練されたConvNetsによって学習された関数の幾何学的性質について検討する。 我々は、訓練されたConvNetsが通常の超平面構成に対して有意な統計バイアスを示すことを観察した。
• 参考スコア（独自算出の注目度）: 2.370481325034443
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We investigate the geometric properties of the functions learned by trained ConvNets in the preactivation space of their convolutional layers, by performing an empirical study of hyperplane arrangements induced by a convolutional layer. We introduce statistics over the weights of a trained network to study local arrangements and relate them to the training dynamics. We observe that trained ConvNets show a significant statistical bias towards regular hyperplane configurations. Furthermore, we find that layers showing biased configurations are critical to validation performance for the architectures considered, trained on CIFAR10, CIFAR100 and ImageNet.
• Abstract（参考訳）: 畳み込み層によって誘導される超平面配置の実験的研究により, 畳み込み層のプレアクティベーション空間において, 訓練されたConvNetsが学習した関数の幾何学的性質について検討した。 トレーニングネットワークの重みに関する統計を導入し、局所的な配置を研究し、それらをトレーニングダイナミクスに関連付ける。 訓練されたコンブネットは、通常の超平面配置に対する統計的に有意な偏りを示す。 さらに, CIFAR10, CIFAR100, ImageNetでトレーニングしたアーキテクチャにおいて, バイアスのある構成を示すレイヤが, 検証性能に重要であることがわかった。

関連論文リスト

• The Unreasonable Effectiveness of Fully-Connected Layers for Low-Data Regimes [3.7189423451031356]
  少数のデータから一般化する枠組みを提案する。 完全に接続されたレイヤで最新のCNNを強化し、このアーキテクチャ変更が低データ体制にもたらす大きな影響を示します。
  論文  参考訳（メタデータ） (2022-10-11T17:55:10Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate Model Predictive Trajectory Tracking [76.27433308688592]
  クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。 本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。 提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
  論文  参考訳（メタデータ） (2022-06-07T13:51:35Z)
• Classification of Astronomical Bodies by Efficient Layer Fine-Tuning of Deep Neural Networks [0.0]
  SDSS-IVデータセットには、銀河、星、クエーサーなどの様々な天体に関する情報が含まれている。 深層マルチモーダル学習の研究に触発されて、これらのアーキテクチャの微調整に関する研究をさらに拡張し、分類シナリオの効果について検討した。
  論文  参考訳（メタデータ） (2022-05-14T20:08:19Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• The Lottery Tickets Hypothesis for Supervised and Self-supervised Pre-training in Computer Vision Models [115.49214555402567]
  事前訓練された重量は、しばしば分類、検出、セグメンテーションを含む幅広い下流タスクを増加させる。 最近の研究は、巨大モデル能力による事前学習の利点を示唆している。 本稿では,抽選券仮説(LTH)のレンズを用いて,教師付きおよび自己指導型事前学習モデルについて検討する。
  論文  参考訳（メタデータ） (2020-12-12T21:53:55Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Rethinking Depthwise Separable Convolutions: How Intra-Kernel Correlations Lead to Improved MobileNets [6.09170287691728]
  CNNのための高効率なビルディングブロックとして,ブループリント分離型畳み込み(BSConv)を導入する。 それらは、訓練されたモデルからカーネル特性の定量的解析によって動機付けられている。 我々のアプローチは、深く分離可能な畳み込みの適用のために、完全な理論的導出、解釈、正当化を提供する。
  論文  参考訳（メタデータ） (2020-03-30T15:23:27Z)
• Identifying and Compensating for Feature Deviation in Imbalanced Deep Learning [59.65752299209042]
  このようなシナリオ下でのConvNetの学習について検討する。 私たちは、ConvNetがマイナーなクラスにかなり適合していることに気づきました。 クラス依存型温度トレーニング(CDT)のConvNetの導入を提案する。
  論文  参考訳（メタデータ） (2020-01-06T03:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。