論文の概要: Power Normalizations in Fine-grained Image, Few-shot Image and Graph Classification

• arxiv url: http://arxiv.org/abs/2012.13975v1
• Date: Sun, 27 Dec 2020 17:06:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-24 20:11:10.286077
• Title: Power Normalizations in Fine-grained Image, Few-shot Image and Graph Classification
• Title（参考訳）: 細粒画像, 少数ショット画像, グラフ分類におけるパワー正規化
• Authors: Piotr Koniusz and Hongguang Zhang
• Abstract要約: 深層学習におけるパワーノーマリゼーション(PN)を,新たなPN層プール機能マップを用いて検討する。 2つのポピュラーなPN関数であるMaxExpとGammaの役割と意味を調べます。 自己相関/共分散行列上のSPNとグラフラプラシア行列上の熱拡散過程(HDP)が密接に関連していることを示す。
• 参考スコア（独自算出の注目度）: 38.84294567166725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Power Normalizations (PN) are useful non-linear operators which tackle feature imbalances in classification problems. We study PNs in the deep learning setup via a novel PN layer pooling feature maps. Our layer combines the feature vectors and their respective spatial locations in the feature maps produced by the last convolutional layer of CNN into a positive definite matrix with second-order statistics to which PN operators are applied, forming so-called Second-order Pooling (SOP). As the main goal of this paper is to study Power Normalizations, we investigate the role and meaning of MaxExp and Gamma, two popular PN functions. To this end, we provide probabilistic interpretations of such element-wise operators and discover surrogates with well-behaved derivatives for end-to-end training. Furthermore, we look at the spectral applicability of MaxExp and Gamma by studying Spectral Power Normalizations (SPN). We show that SPN on the autocorrelation/covariance matrix and the Heat Diffusion Process (HDP) on a graph Laplacian matrix are closely related, thus sharing their properties. Such a finding leads us to the culmination of our work, a fast spectral MaxExp which is a variant of HDP for covariances/autocorrelation matrices. We evaluate our ideas on fine-grained recognition, scene recognition, and material classification, as well as in few-shot learning and graph classification.
• Abstract（参考訳）: 電力正規化(PN)は、分類問題における特徴不均衡に対処する有用な非線形演算子である。 我々は,新しいPN層プール機能マップを用いて,深層学習環境におけるPNについて検討した。 我々は,CNNの最終畳み込み層が生成する特徴写像における特徴ベクトルとその空間的位置を,PN演算子を適用した2次統計量と正定行列に結合し,いわゆる2次プール(SOP)を形成する。 本稿では,電力正規化の研究を主目的とし,人気のpn機能であるmaxexpとgammaの役割と意義について検討する。 この目的のために、そのような要素ワイズ作用素の確率論的解釈を提供し、エンド・ツー・エンド・トレーニングのためによく定義された微分を持つ代用変数を発見する。 さらに、スペクトルパワー正規化(spn)の研究により、maxexpとgammaのスペクトル適用可能性を検討する。 自己相関/共分散行列上のSPNとグラフラプラシア行列上の熱拡散過程(HDP)が密接に関連していることを示し、それらの性質を共有する。 このような発見は、共分散/自己相関行列に対するHDPの変種である高速スペクトルMaxExpという、我々の研究の頂点に繋がる。 我々は, 微粒化認識, シーン認識, 材料分類, および少数ショット学習およびグラフ分類における考え方を評価する。

関連論文リスト

• Unraveling Attention via Convex Duality: Analysis and Interpretations of Vision Transformers [52.468311268601056]
  本稿では凸双対性のレンズを通して注意を解析する。 我々は、大域的最適性に対して解釈可能で解ける等価な有限次元凸問題を導出する。 自己認識ネットワークがトークンを暗黙的にクラスタリングする方法を示す。
  論文  参考訳（メタデータ） (2022-05-17T04:01:15Z)
• Sparse Graph Learning with Eigen-gap for Spectral Filter Training in Graph Convolutional Networks [38.92746674849527]
  スパースグラフ Laplacian matrix $L$ to $barC-1$ は、より深いグラフ畳み込みニューラルネット(GCN)アーキテクチャを促進するために使用できることを示す。 実験の結果,提案手法は明示的な固有ギャップ最適化を伴わない競合方式と比較して,より深いGCNとより小さな誤差を生じることがわかった。
  論文  参考訳（メタデータ） (2022-02-28T03:39:48Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Neural Sheaf Diffusion: A Topological Perspective on Heterophily and Oversmoothing in GNNs [16.88394293874848]
  セルラーシーフ理論を用いて、グラフの基盤となる幾何学がGNNの性能と深く関連していることを示す。 一般化されたシーブの階層構造を考慮し、無限時間極限におけるクラスの線形分離を実現するための層拡散過程の能力がいかに拡大するかを考察する。 我々は, せん断が非自明な場合, 離散パラメトリック拡散過程はGNNよりもその挙動を制御できることを証明した。
  論文  参考訳（メタデータ） (2022-02-09T17:25:02Z)
• Graph Kernel Neural Networks [8.040232181565393]
  本稿では、グラフ上の内部積を計算するカーネル関数としてグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。 これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。 我々のアーキテクチャは、どんなタイプのグラフカーネルでもプラグインでき、いくつかの解釈可能性を提供する利点がある。
  論文  参考訳（メタデータ） (2021-12-14T14:48:08Z)
• Graph Neural Networks with Learnable Structural and Positional Representations [83.24058411666483]
  任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。 ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。 両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
  論文  参考訳（メタデータ） (2021-10-15T05:59:15Z)
• High-order Tensor Pooling with Attention for Action Recognition [27.409776765260617]
  グラフラプラシアン上の熱拡散過程(HDP)は固有値電力正規化(EPN)と密接に関連していることを示す。 我々は高次テンソルにEPNを装着し、高次事象のスペクトル検出器として機能し、バーストを防止する。 我々は、d次元特徴記述子から構築された位数 r のテンソルに対して、そのような検出器は、少なくとも1つの高階発生が、テンソルで表されるbinom(d,r) 部分空間に射影される可能性を与える。
  論文  参考訳（メタデータ） (2021-10-11T12:32:56Z)
• Graph Convolutional Network with Generalized Factorized Bilinear Aggregation [31.674649135019386]
  グラフ畳み込みネットワーク(GCN)における特徴相互作用をモデル化するためのFB層の新たな一般化を提案する。 複数のデータセットに対する実験結果から,GFB-GCNは他のテキスト分類法と競合することを示した。
  論文  参考訳（メタデータ） (2021-07-24T17:57:06Z)
• Deep Contrastive Graph Representation via Adaptive Homotopy Learning [76.22904270821778]
  Homotopyモデルは、機械学習の分野におけるさまざまな研究によって活用される優れたツールである。 マクローリン双対性を用いる新しい適応ホモトピーフレームワーク(AH)を提案する。 AHはホモトピーに基づくアルゴリズムを強化するために広く利用することができる。
  論文  参考訳（メタデータ） (2021-06-17T04:46:04Z)
• Tensor Representations for Action Recognition [54.710267354274194]
  シーケンスにおける人間の行動は、空間的特徴とその時間的ダイナミクスの複雑な相互作用によって特徴づけられる。 アクション認識タスクの視覚的特徴間の高次関係を捉えるための新しいテンソル表現を提案する。 我々は,高次テンソルといわゆる固有値パワー正規化(NEP)を用いて,高次事象のスペクトル検出を行う。
  論文  参考訳（メタデータ） (2020-12-28T17:27:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。