論文の概要: Regular Polytope Networks

• arxiv url: http://arxiv.org/abs/2103.15632v1
• Date: Mon, 29 Mar 2021 14:11:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 15:19:34.392720
• Title: Regular Polytope Networks
• Title（参考訳）: 正規ポリトープネットワーク
• Authors: Federico Pernici and Matteo Bruni and Claudio Baecchi and Alberto Del Bimbo
• Abstract要約: 我々は、変換は精度を損なわず、メモリ使用量を減らすことなく修正できると主張しています。 また、固定および最大分離埋め込みを学ぶために使用することができます。 埋め込みの定常性とその最大分離表現を理論的に正当化できることを示した。
• 参考スコア（独自算出の注目度）: 29.44144177954405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are widely used as a model for classification in a large variety of tasks. Typically, a learnable transformation (i.e. the classifier) is placed at the end of such models returning a value for each class used for classification. This transformation plays an important role in determining how the generated features change during the learning process. In this work, we argue that this transformation not only can be fixed (i.e. set as non-trainable) with no loss of accuracy and with a reduction in memory usage, but it can also be used to learn stationary and maximally separated embeddings. We show that the stationarity of the embedding and its maximal separated representation can be theoretically justified by setting the weights of the fixed classifier to values taken from the coordinate vertices of the three regular polytopes available in $\mathbb{R}^d$, namely: the $d$-Simplex, the $d$-Cube and the $d$-Orthoplex. These regular polytopes have the maximal amount of symmetry that can be exploited to generate stationary features angularly centered around their corresponding fixed weights. Our approach improves and broadens the concept of a fixed classifier, recently proposed in \cite{hoffer2018fix}, to a larger class of fixed classifier models. Experimental results confirm the theoretical analysis, the generalization capability, the faster convergence and the improved performance of the proposed method. Code will be publicly available.
• Abstract（参考訳）: ニューラルネットワークは、様々なタスクの分類のモデルとして広く使われている。 通常、学習可能な変換(すなわち)。 分類子)はそのようなモデルの最後に置かれ、分類に使われるクラスごとに値を返す。 この変換は、学習プロセス中に生成された特徴がどのように変化するかを決定する上で重要な役割を果たす。 この研究において、この変換は固定できるだけでなく(すなわち)修正できると主張する。 正確さの損失がなく、メモリ使用量の削減もないが、静的かつ最大に分離された埋め込みを学習するためにも使用できる。 固定分類器の重みを$\mathbb{R}^d$で利用可能な3つの正規ポリトープの座標頂点から得られる値、すなわち$d$-Simplex、$d$-Cube、$d$-Orthoplex に設定することで、埋め込みの定常性と最大分離表現を理論的に正当化できることを示す。 これらの正則ポリトープは最大対称性を持ち、対応する固定重みを中心に角ばった固定的な特徴を生成するのに利用できる。 我々のアプローチは、最近 \cite{hoffer2018fix} で提案された固定分類器の概念をより大きな固定分類器モデルに改良し、拡張する。 実験の結果, 理論解析, 一般化能力, 収束の高速化, 提案手法の性能向上が確認された。 コードは公開されます。

関連論文リスト

• Achieving More with Less: A Tensor-Optimization-Powered Ensemble Method [53.170053108447455]
  アンサンブル学習(英: Ensemble learning)は、弱い学習者を利用して強力な学習者を生み出す方法である。 我々は、マージンの概念を活かした滑らかで凸な目的関数を設計し、強力な学習者がより差別的になるようにした。 そして、我々のアルゴリズムを、多数のデータセットの10倍の大きさのランダムな森林や他の古典的な手法と比較する。
  論文  参考訳（メタデータ） (2024-08-06T03:42:38Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Maximally Compact and Separated Features with Regular Polytope Networks [22.376196701232388]
  本稿では, CNN から抽出する方法として, クラス間分離性とクラス間圧縮性の特性について述べる。 我々は、よく知られた citewen2016discriminative や他の類似したアプローチで得られる特徴と類似した特徴を得る。
  論文  参考訳（メタデータ） (2023-01-15T15:20:57Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Prediction Calibration for Generalized Few-shot Semantic Segmentation [101.69940565204816]
  汎用Few-shot Semantic (GFSS) は、各画像ピクセルを、豊富なトレーニング例を持つベースクラスか、クラスごとにわずかに(例: 1-5)のトレーニングイメージを持つ新しいクラスのいずれかに分割することを目的としている。 我々は、融合したマルチレベル機能を用いて、分類器の最終予測をガイドするクロスアテンションモジュールを構築する。 私たちのPCNは、最先端の代替品よりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2022-10-15T13:30:12Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Exploring Category-correlated Feature for Few-shot Image Classification [27.13708881431794]
  本稿では,従来の知識として,新しいクラスとベースクラスのカテゴリ相関を探索し,シンプルで効果的な特徴補正手法を提案する。 提案手法は, 広く使用されている3つのベンチマークにおいて, 一定の性能向上が得られる。
  論文  参考訳（メタデータ） (2021-12-14T08:25:24Z)
• More Is More -- Narrowing the Generalization Gap by Adding Classification Heads [8.883733362171032]
  我々は「TransNet」と呼ばれる入力変換に基づく既存のニューラルネットワークモデルのためのアーキテクチャ拡張を導入する。 私たちのモデルは、トレーニング時間のみに使用でき、予測のために刈り取られ、結果としてベースモデルと同等のアーキテクチャになります。
  論文  参考訳（メタデータ） (2021-02-09T16:30:33Z)
• A Multiple Classifier Approach for Concatenate-Designed Neural Networks [13.017053017670467]
  私たちは、ネットワークセット間で生成された特徴を収集する分類器の設計を与えます。 我々はL2正規化法を用いて、Softmax Denseの代わりに分類スコアを得る。 その結果、提案された分類器は実験ケースの精度を向上させることができる。
  論文  参考訳（メタデータ） (2021-01-14T04:32:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。