論文の概要: Power Normalizations in Fine-grained Image, Few-shot Image and Graph Classification

• arxiv url: http://arxiv.org/abs/2012.13975v1
• Date: Sun, 27 Dec 2020 17:06:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-24 20:11:10.286077
• Title: Power Normalizations in Fine-grained Image, Few-shot Image and Graph Classification
• Title（参考訳）: 細粒画像, 少数ショット画像, グラフ分類におけるパワー正規化
• Authors: Piotr Koniusz and Hongguang Zhang
• Abstract要約: 深層学習におけるパワーノーマリゼーション(PN)を,新たなPN層プール機能マップを用いて検討する。 2つのポピュラーなPN関数であるMaxExpとGammaの役割と意味を調べます。 自己相関/共分散行列上のSPNとグラフラプラシア行列上の熱拡散過程(HDP)が密接に関連していることを示す。
• 参考スコア（独自算出の注目度）: 38.84294567166725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Power Normalizations (PN) are useful non-linear operators which tackle feature imbalances in classification problems. We study PNs in the deep learning setup via a novel PN layer pooling feature maps. Our layer combines the feature vectors and their respective spatial locations in the feature maps produced by the last convolutional layer of CNN into a positive definite matrix with second-order statistics to which PN operators are applied, forming so-called Second-order Pooling (SOP). As the main goal of this paper is to study Power Normalizations, we investigate the role and meaning of MaxExp and Gamma, two popular PN functions. To this end, we provide probabilistic interpretations of such element-wise operators and discover surrogates with well-behaved derivatives for end-to-end training. Furthermore, we look at the spectral applicability of MaxExp and Gamma by studying Spectral Power Normalizations (SPN). We show that SPN on the autocorrelation/covariance matrix and the Heat Diffusion Process (HDP) on a graph Laplacian matrix are closely related, thus sharing their properties. Such a finding leads us to the culmination of our work, a fast spectral MaxExp which is a variant of HDP for covariances/autocorrelation matrices. We evaluate our ideas on fine-grained recognition, scene recognition, and material classification, as well as in few-shot learning and graph classification.
• Abstract（参考訳）: 電力正規化(PN)は、分類問題における特徴不均衡に対処する有用な非線形演算子である。 我々は,新しいPN層プール機能マップを用いて,深層学習環境におけるPNについて検討した。 我々は,CNNの最終畳み込み層が生成する特徴写像における特徴ベクトルとその空間的位置を,PN演算子を適用した2次統計量と正定行列に結合し,いわゆる2次プール(SOP)を形成する。 本稿では,電力正規化の研究を主目的とし,人気のpn機能であるmaxexpとgammaの役割と意義について検討する。 この目的のために、そのような要素ワイズ作用素の確率論的解釈を提供し、エンド・ツー・エンド・トレーニングのためによく定義された微分を持つ代用変数を発見する。 さらに、スペクトルパワー正規化(spn)の研究により、maxexpとgammaのスペクトル適用可能性を検討する。 自己相関/共分散行列上のSPNとグラフラプラシア行列上の熱拡散過程(HDP)が密接に関連していることを示し、それらの性質を共有する。 このような発見は、共分散/自己相関行列に対するHDPの変種である高速スペクトルMaxExpという、我々の研究の頂点に繋がる。 我々は, 微粒化認識, シーン認識, 材料分類, および少数ショット学習およびグラフ分類における考え方を評価する。

関連論文リスト

• On the dynamical Lie algebras of quantum approximate optimization algorithms [4.987686869768721]
  動的リー代数(DLAs)は、パラメータ化量子回路の研究において貴重な道具として登場した。 本研究では,量子近似最適化アルゴリズム(QAOA)のDLAについて検討する。 DLAの次元が$O(n3)$であることを示し、DLAの明示的な基底を与える。
  論文  参考訳（メタデータ） (2024-07-17T14:12:30Z)
• Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
  グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-15T07:11:44Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Graph Positional Encoding via Random Feature Propagation [39.84324765957645]
  ノード特徴拡張スキームの2つの主要なファミリーがGNNの強化のために検討されている。 本稿では、上記の2つのアプローチのリンクを引いた、位置符号化方式の新たなファミリーを提案する。 我々は、RFPが複数のノード分類とグラフ分類ベンチマークにおいてスペクトルPEとランダムの特徴の両方を著しく上回っていることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-03-06T06:28:20Z)
• Curvature-informed multi-task learning for graph networks [56.155331323304]
  最先端のグラフニューラルネットワークは、複数の特性を同時に予測しようとする。 この現象の潜在的な説明として、各特性の損失面の曲率が大きく異なり、非効率な学習につながる可能性がある。
  論文  参考訳（メタデータ） (2022-08-02T18:18:41Z)
• Graph Kernel Neural Networks [53.91024360329517]
  本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。 これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。 私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
  論文  参考訳（メタデータ） (2021-12-14T14:48:08Z)
• High-order Tensor Pooling with Attention for Action Recognition [39.22510412349891]
  ニューラルネットワークによって形成される特徴ベクトルの高次統計値を取得する。 テンソル記述子を形成するために,エンドツーエンドの2次・高次プールを提案する。
  論文  参考訳（メタデータ） (2021-10-11T12:32:56Z)
• Graph Convolutional Network with Generalized Factorized Bilinear Aggregation [31.674649135019386]
  グラフ畳み込みネットワーク(GCN)における特徴相互作用をモデル化するためのFB層の新たな一般化を提案する。 複数のデータセットに対する実験結果から,GFB-GCNは他のテキスト分類法と競合することを示した。
  論文  参考訳（メタデータ） (2021-07-24T17:57:06Z)
• Finite-Function-Encoding Quantum States [52.77024349608834]
  任意の$d$値論理関数を符号化する有限関数符号化(FFE)を導入する。 それらの構造的特性について検討する。
  論文  参考訳（メタデータ） (2020-12-01T13:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。