論文の概要: Connecting Sphere Manifolds Hierarchically for Regularization
- arxiv url: http://arxiv.org/abs/2106.13549v1
- Date: Fri, 25 Jun 2021 10:51:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-28 13:15:47.021253
- Title: Connecting Sphere Manifolds Hierarchically for Regularization
- Title(参考訳): 正則化のための階層的接続球面多様体
- Authors: Damien Scieur, Youngsung Kim
- Abstract要約: 階層的なクラスによる分類問題を考察する。
我々の手法は、球面完全連結層と階層層を組み合わせることによって、ニューラルネットワークの最後の層を置き換える。
この正規化は、広く使われているディープニューラルネットワークアーキテクチャのパフォーマンスを向上させることが示されている。
- 参考スコア(独自算出の注目度): 16.082095595061617
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper considers classification problems with hierarchically organized
classes. We force the classifier (hyperplane) of each class to belong to a
sphere manifold, whose center is the classifier of its super-class. Then,
individual sphere manifolds are connected based on their hierarchical
relations. Our technique replaces the last layer of a neural network by
combining a spherical fully-connected layer with a hierarchical layer. This
regularization is shown to improve the performance of widely used deep neural
network architectures (ResNet and DenseNet) on publicly available datasets
(CIFAR100, CUB200, Stanford dogs, Stanford cars, and Tiny-ImageNet).
- Abstract(参考訳): 本稿では階層的なクラスによる分類問題を考察する。
各クラスの分類器(超平面)を、その中心がスーパークラスの分類器である球面多様体に属するように強制する。
そして、個々の球面多様体はその階層関係に基づいて連結される。
本手法は,球状完全連結層と階層層を組み合わせることで,ニューラルネットワークの最終層を置き換えるものである。
この正規化は、公開データセット(CIFAR100、CUB200、スタンフォード犬、スタンフォード車、Tiny-ImageNet)上で広く使用されているディープニューラルネットワークアーキテクチャ(ResNetとDenseNet)のパフォーマンスを改善することが示されている。
関連論文リスト
- CoLaNET -- A Spiking Neural Network with Columnar Layered Architecture for Classification [0.0]
本稿では、幅広い教師付き学習分類タスクに使用できるスパイキングニューラルネットワーク(SNN)アーキテクチャについて述べる。
全ての参加信号(分類対象記述、正しいクラスラベル、SNN決定)がスパイクの性質を持つと仮定する。
モデルに基づく強化学習に関わる課題に対して,私のネットワークの性能について解説する。
論文 参考訳(メタデータ) (2024-09-02T13:04:54Z) - WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。
我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。
本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文 参考訳(メタデータ) (2023-01-03T20:57:22Z) - A Capsule Network for Hierarchical Multi-Label Image Classification [2.507647327384289]
階層的な多ラベル分類は、階層構造や分類に基づくより小さな分類に分類された多クラス画像分類問題に適用される。
階層分類のためのマルチラベルカプセルネットワーク(ML-CapsNet)を提案する。
論文 参考訳(メタデータ) (2022-09-13T04:17:08Z) - DeepCluE: Enhanced Image Clustering via Multi-layer Ensembles in Deep
Neural Networks [53.88811980967342]
本稿では,Ensembles (DeepCluE) を用いたDeep Clusteringを提案する。
ディープニューラルネットワークにおける複数のレイヤのパワーを活用することで、ディープクラスタリングとアンサンブルクラスタリングのギャップを埋める。
6つの画像データセットの実験結果から、最先端のディープクラスタリングアプローチに対するDeepCluEの利点が確認されている。
論文 参考訳(メタデータ) (2022-06-01T09:51:38Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳(メタデータ) (2022-03-17T04:34:28Z) - Learning Hierarchical Graph Neural Networks for Image Clustering [81.5841862489509]
本稿では,画像の集合を未知の個数にクラスタリングする方法を学ぶ階層型グラフニューラルネットワーク(GNN)モデルを提案する。
我々の階層的なGNNは、階層の各レベルで予測される連結コンポーネントをマージして、次のレベルで新しいグラフを形成するために、新しいアプローチを用いています。
論文 参考訳(メタデータ) (2021-07-03T01:28:42Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳(メタデータ) (2020-09-08T13:10:21Z) - Adaptive Hierarchical Decomposition of Large Deep Networks [4.272649614101117]
データセットが大きくなるにつれて、既存のディープラーニングアーキテクチャが一般的な人間によって認識可能な50以上のクラスを扱うように拡張できるかどうかという自然な疑問がある。
本稿では,単一大規模ネットワークの代替として,より小さなディープネットワーク群を自動解析し,構成するフレームワークを提案する。
結果として、より小さなネットワークは、高度にスケーラブルで、並列であり、訓練もより実践的であり、より高い分類精度を達成する。
論文 参考訳(メタデータ) (2020-07-17T21:04:50Z) - DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。
ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文 参考訳(メタデータ) (2020-05-29T09:02:16Z) - Learn Class Hierarchy using Convolutional Neural Networks [0.9569316316728905]
画像の階層的分類のための新しいアーキテクチャを提案し、クロスエントロピー損失関数と中心損失を組み合わせた深層線形層を導入する。
階層型分類器は,コンピュータビジョンタスクへの応用を見出す従来の分類手法の利点を示す。
論文 参考訳(メタデータ) (2020-05-18T12:06:43Z) - Do We Need Fully Connected Output Layers in Convolutional Networks? [40.84294968326573]
完全に接続された最終出力層を持つことの典型的なアプローチは、パラメータカウントの点で非効率であることを示す。
私たちは、ImageNet-1K、CIFAR-100、Stanford Cars-196、Oxford Flowers-102データセット上で、伝統的に学習された完全に接続された分類出力層に匹敵するパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2020-04-28T15:21:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。