論文の概要: Power Normalizations in Fine-grained Image, Few-shot Image and Graph
Classification
- arxiv url: http://arxiv.org/abs/2012.13975v1
- Date: Sun, 27 Dec 2020 17:06:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-24 20:11:10.286077
- Title: Power Normalizations in Fine-grained Image, Few-shot Image and Graph
Classification
- Title(参考訳): 細粒画像, 少数ショット画像, グラフ分類におけるパワー正規化
- Authors: Piotr Koniusz and Hongguang Zhang
- Abstract要約: 深層学習におけるパワーノーマリゼーション(PN)を,新たなPN層プール機能マップを用いて検討する。
2つのポピュラーなPN関数であるMaxExpとGammaの役割と意味を調べます。
自己相関/共分散行列上のSPNとグラフラプラシア行列上の熱拡散過程(HDP)が密接に関連していることを示す。
- 参考スコア(独自算出の注目度): 38.84294567166725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Power Normalizations (PN) are useful non-linear operators which tackle
feature imbalances in classification problems. We study PNs in the deep
learning setup via a novel PN layer pooling feature maps. Our layer combines
the feature vectors and their respective spatial locations in the feature maps
produced by the last convolutional layer of CNN into a positive definite matrix
with second-order statistics to which PN operators are applied, forming
so-called Second-order Pooling (SOP). As the main goal of this paper is to
study Power Normalizations, we investigate the role and meaning of MaxExp and
Gamma, two popular PN functions. To this end, we provide probabilistic
interpretations of such element-wise operators and discover surrogates with
well-behaved derivatives for end-to-end training. Furthermore, we look at the
spectral applicability of MaxExp and Gamma by studying Spectral Power
Normalizations (SPN). We show that SPN on the autocorrelation/covariance matrix
and the Heat Diffusion Process (HDP) on a graph Laplacian matrix are closely
related, thus sharing their properties. Such a finding leads us to the
culmination of our work, a fast spectral MaxExp which is a variant of HDP for
covariances/autocorrelation matrices. We evaluate our ideas on fine-grained
recognition, scene recognition, and material classification, as well as in
few-shot learning and graph classification.
- Abstract(参考訳): 電力正規化(PN)は、分類問題における特徴不均衡に対処する有用な非線形演算子である。
我々は,新しいPN層プール機能マップを用いて,深層学習環境におけるPNについて検討した。
我々は,CNNの最終畳み込み層が生成する特徴写像における特徴ベクトルとその空間的位置を,PN演算子を適用した2次統計量と正定行列に結合し,いわゆる2次プール(SOP)を形成する。
本稿では,電力正規化の研究を主目的とし,人気のpn機能であるmaxexpとgammaの役割と意義について検討する。
この目的のために、そのような要素ワイズ作用素の確率論的解釈を提供し、エンド・ツー・エンド・トレーニングのためによく定義された微分を持つ代用変数を発見する。
さらに、スペクトルパワー正規化(spn)の研究により、maxexpとgammaのスペクトル適用可能性を検討する。
自己相関/共分散行列上のSPNとグラフラプラシア行列上の熱拡散過程(HDP)が密接に関連していることを示し、それらの性質を共有する。
このような発見は、共分散/自己相関行列に対するHDPの変種である高速スペクトルMaxExpという、我々の研究の頂点に繋がる。
我々は, 微粒化認識, シーン認識, 材料分類, および少数ショット学習およびグラフ分類における考え方を評価する。
関連論文リスト
- Towards Training Without Depth Limits: Batch Normalization Without
Gradient Explosion [83.90492831583997]
バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。
線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。
また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
論文 参考訳(メタデータ) (2023-10-03T12:35:02Z) - Gradient-Based Spectral Embeddings of Random Dot Product Graphs [7.612218105739107]
本稿では,RDPG (Random Dot Product Graph) の組込み問題の解法について述べる。
そこで我々は, 結果の多様体に対して, 実現可能な新しい最適化手法を開発した。
当社のオープンソースアルゴリズムの実装はスケーラブルで、エッジデータに欠ける堅牢さと異なり、ストリーミンググラフからゆっくりと、潜伏した位置を追跡することができます。
論文 参考訳(メタデータ) (2023-07-25T21:09:55Z) - Geometric Graph Filters and Neural Networks: Limit Properties and
Discriminability Trade-offs [122.06927400759021]
本稿では,グラフニューラルネットワーク (GNN) と多様体ニューラルネットワーク (MNN) の関係について検討する。
これらのグラフ上の畳み込みフィルタとニューラルネットワークが連続多様体上の畳み込みフィルタとニューラルネットワークに収束することを示す。
論文 参考訳(メタデータ) (2023-05-29T08:27:17Z) - Graph Positional Encoding via Random Feature Propagation [39.84324765957645]
ノード特徴拡張スキームの2つの主要なファミリーがGNNの強化のために検討されている。
本稿では、上記の2つのアプローチのリンクを引いた、位置符号化方式の新たなファミリーを提案する。
我々は、RFPが複数のノード分類とグラフ分類ベンチマークにおいてスペクトルPEとランダムの特徴の両方を著しく上回っていることを実証的に実証した。
論文 参考訳(メタデータ) (2023-03-06T06:28:20Z) - The SVD of Convolutional Weights: A CNN Interpretability Framework [3.5783190448496343]
本稿では,ハイパーグラフを用いてクラス分離をモデル化する手法を提案する。
ネットワークを説明するためにアクティベーションを見るのではなく、各線形層に対して最大の対応する特異値を持つ特異ベクトルを用いて、ネットワークにとって最も重要な特徴を識別する。
論文 参考訳(メタデータ) (2022-08-14T18:23:02Z) - Curvature-informed multi-task learning for graph networks [56.155331323304]
最先端のグラフニューラルネットワークは、複数の特性を同時に予測しようとする。
この現象の潜在的な説明として、各特性の損失面の曲率が大きく異なり、非効率な学習につながる可能性がある。
論文 参考訳(メタデータ) (2022-08-02T18:18:41Z) - High-order Tensor Pooling with Attention for Action Recognition [39.22510412349891]
ニューラルネットワークによって形成される特徴ベクトルの高次統計値を取得する。
テンソル記述子を形成するために,エンドツーエンドの2次・高次プールを提案する。
論文 参考訳(メタデータ) (2021-10-11T12:32:56Z) - Graph Convolutional Network with Generalized Factorized Bilinear
Aggregation [31.674649135019386]
グラフ畳み込みネットワーク(GCN)における特徴相互作用をモデル化するためのFB層の新たな一般化を提案する。
複数のデータセットに対する実験結果から,GFB-GCNは他のテキスト分類法と競合することを示した。
論文 参考訳(メタデータ) (2021-07-24T17:57:06Z) - Tensor Representations for Action Recognition [54.710267354274194]
シーケンスにおける人間の行動は、空間的特徴とその時間的ダイナミクスの複雑な相互作用によって特徴づけられる。
アクション認識タスクの視覚的特徴間の高次関係を捉えるための新しいテンソル表現を提案する。
我々は,高次テンソルといわゆる固有値パワー正規化(NEP)を用いて,高次事象のスペクトル検出を行う。
論文 参考訳(メタデータ) (2020-12-28T17:27:18Z) - Finite-Function-Encoding Quantum States [52.77024349608834]
任意の$d$値論理関数を符号化する有限関数符号化(FFE)を導入する。
それらの構造的特性について検討する。
論文 参考訳(メタデータ) (2020-12-01T13:53:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。