論文の概要: Regular Polytope Networks
- arxiv url: http://arxiv.org/abs/2103.15632v1
- Date: Mon, 29 Mar 2021 14:11:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 15:19:34.392720
- Title: Regular Polytope Networks
- Title(参考訳): 正規ポリトープネットワーク
- Authors: Federico Pernici and Matteo Bruni and Claudio Baecchi and Alberto Del
Bimbo
- Abstract要約: 我々は、変換は精度を損なわず、メモリ使用量を減らすことなく修正できると主張しています。
また、固定および最大分離埋め込みを学ぶために使用することができます。
埋め込みの定常性とその最大分離表現を理論的に正当化できることを示した。
- 参考スコア(独自算出の注目度): 29.44144177954405
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks are widely used as a model for classification in a large
variety of tasks. Typically, a learnable transformation (i.e. the classifier)
is placed at the end of such models returning a value for each class used for
classification. This transformation plays an important role in determining how
the generated features change during the learning process. In this work, we
argue that this transformation not only can be fixed (i.e. set as
non-trainable) with no loss of accuracy and with a reduction in memory usage,
but it can also be used to learn stationary and maximally separated embeddings.
We show that the stationarity of the embedding and its maximal separated
representation can be theoretically justified by setting the weights of the
fixed classifier to values taken from the coordinate vertices of the three
regular polytopes available in $\mathbb{R}^d$, namely: the $d$-Simplex, the
$d$-Cube and the $d$-Orthoplex. These regular polytopes have the maximal amount
of symmetry that can be exploited to generate stationary features angularly
centered around their corresponding fixed weights. Our approach improves and
broadens the concept of a fixed classifier, recently proposed in
\cite{hoffer2018fix}, to a larger class of fixed classifier models.
Experimental results confirm the theoretical analysis, the generalization
capability, the faster convergence and the improved performance of the proposed
method. Code will be publicly available.
- Abstract(参考訳): ニューラルネットワークは、様々なタスクの分類のモデルとして広く使われている。
通常、学習可能な変換(すなわち)。
分類子)はそのようなモデルの最後に置かれ、分類に使われるクラスごとに値を返す。
この変換は、学習プロセス中に生成された特徴がどのように変化するかを決定する上で重要な役割を果たす。
この研究において、この変換は固定できるだけでなく(すなわち)修正できると主張する。
正確さの損失がなく、メモリ使用量の削減もないが、静的かつ最大に分離された埋め込みを学習するためにも使用できる。
固定分類器の重みを$\mathbb{R}^d$で利用可能な3つの正規ポリトープの座標頂点から得られる値、すなわち$d$-Simplex、$d$-Cube、$d$-Orthoplex に設定することで、埋め込みの定常性と最大分離表現を理論的に正当化できることを示す。
これらの正則ポリトープは最大対称性を持ち、対応する固定重みを中心に角ばった固定的な特徴を生成するのに利用できる。
我々のアプローチは、最近 \cite{hoffer2018fix} で提案された固定分類器の概念をより大きな固定分類器モデルに改良し、拡張する。
実験の結果, 理論解析, 一般化能力, 収束の高速化, 提案手法の性能向上が確認された。
コードは公開されます。
関連論文リスト
- Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class
Incremental Learning [120.53458753007851]
FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。
我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。
我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
論文 参考訳(メタデータ) (2023-02-06T18:39:40Z) - Maximally Compact and Separated Features with Regular Polytope Networks [22.376196701232388]
本稿では, CNN から抽出する方法として, クラス間分離性とクラス間圧縮性の特性について述べる。
我々は、よく知られた citewen2016discriminative や他の類似したアプローチで得られる特徴と類似した特徴を得る。
論文 参考訳(メタデータ) (2023-01-15T15:20:57Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳(メタデータ) (2022-11-11T21:58:15Z) - Prediction Calibration for Generalized Few-shot Semantic Segmentation [101.69940565204816]
汎用Few-shot Semantic (GFSS) は、各画像ピクセルを、豊富なトレーニング例を持つベースクラスか、クラスごとにわずかに(例: 1-5)のトレーニングイメージを持つ新しいクラスのいずれかに分割することを目的としている。
我々は、融合したマルチレベル機能を用いて、分類器の最終予測をガイドするクロスアテンションモジュールを構築する。
私たちのPCNは、最先端の代替品よりも大きなマージンで優れています。
論文 参考訳(メタデータ) (2022-10-15T13:30:12Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳(メタデータ) (2022-03-17T04:34:28Z) - Exploring Category-correlated Feature for Few-shot Image Classification [27.13708881431794]
本稿では,従来の知識として,新しいクラスとベースクラスのカテゴリ相関を探索し,シンプルで効果的な特徴補正手法を提案する。
提案手法は, 広く使用されている3つのベンチマークにおいて, 一定の性能向上が得られる。
論文 参考訳(メタデータ) (2021-12-14T08:25:24Z) - On the rate of convergence of a classifier based on a Transformer
encoder [55.41148606254641]
最適誤分類確率に対する分類器の誤分類確率の収束率を分析する。
この分類器は,アポテリオリ確率が適切な階層的構成モデルを満たす場合,次元性の呪いを回避することができる。
論文 参考訳(メタデータ) (2021-11-29T14:58:29Z) - GistNet: a Geometric Structure Transfer Network for Long-Tailed
Recognition [95.93760490301395]
長い尾の認識は、クラスごとのサンプル数が非常にアンバランスである問題です。
GistNetは、クラスジオメトリをエンコードするために分類パラメータのコンステレーションを使用して、この目標をサポートするように提案されている。
新しい学習アルゴリズムがGeometrIc Structure Transfer (GIST) に提案され、クラスバランスとランダムサンプリングを組み合わせた損失関数の組み合わせにより、一般的なクラスに過度に適合することは幾何パラメータに制限されるが、人気クラスから少数ショットクラスへのクラス幾何学の転送に利用される。
論文 参考訳(メタデータ) (2021-05-01T00:37:42Z) - More Is More -- Narrowing the Generalization Gap by Adding
Classification Heads [8.883733362171032]
我々は「TransNet」と呼ばれる入力変換に基づく既存のニューラルネットワークモデルのためのアーキテクチャ拡張を導入する。
私たちのモデルは、トレーニング時間のみに使用でき、予測のために刈り取られ、結果としてベースモデルと同等のアーキテクチャになります。
論文 参考訳(メタデータ) (2021-02-09T16:30:33Z) - A Multiple Classifier Approach for Concatenate-Designed Neural Networks [13.017053017670467]
私たちは、ネットワークセット間で生成された特徴を収集する分類器の設計を与えます。
我々はL2正規化法を用いて、Softmax Denseの代わりに分類スコアを得る。
その結果、提案された分類器は実験ケースの精度を向上させることができる。
論文 参考訳(メタデータ) (2021-01-14T04:32:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。