論文の概要: Attentive Group Equivariant Convolutional Networks

• arxiv url: http://arxiv.org/abs/2002.03830v3
• Date: Tue, 30 Jun 2020 07:41:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 03:33:53.137734
• Title: Attentive Group Equivariant Convolutional Networks
• Title（参考訳）: 注意群同変畳み込みネットワーク
• Authors: David W. Romero, Erik J. Bekkers, Jakub M. Tomczak, Mark Hoogendoorn
• Abstract要約: 我々は、群畳み込みの一般化である注意型群同変畳み込みを提示する。 我々のフレームワークはベンチマーク画像データセット上で従来のグループ畳み込みネットワークよりも一貫して優れていることを示す。
• 参考スコア（独自算出の注目度）: 24.090972304906497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although group convolutional networks are able to learn powerful representations based on symmetry patterns, they lack explicit means to learn meaningful relationships among them (e.g., relative positions and poses). In this paper, we present attentive group equivariant convolutions, a generalization of the group convolution, in which attention is applied during the course of convolution to accentuate meaningful symmetry combinations and suppress non-plausible, misleading ones. We indicate that prior work on visual attention can be described as special cases of our proposed framework and show empirically that our attentive group equivariant convolutional networks consistently outperform conventional group convolutional networks on benchmark image datasets. Simultaneously, we provide interpretability to the learned concepts through the visualization of equivariant attention maps.
• Abstract（参考訳）: 群畳み込みネットワークは対称性パターンに基づいて強力な表現を学習できるが、それらの間の意味のある関係(例えば相対的な位置やポーズ)を学習する明確な手段が欠けている。 本稿では,有意義な対称性の組み合わせを強調するために畳み込みの過程で注意が払われる群畳み込みの一般化である注意群同変畳み込みについて述べる。 視覚的注意に関する先行研究は,提案する枠組みの特別な事例として記述でき,ベンチマーク画像データセットの従来のグループ畳み込みネットワークを一貫して上回っていることを実証的に示す。 同時に、同変アテンションマップの可視化を通じて学習概念の解釈可能性を提供する。

関連論文リスト

• Current Symmetry Group Equivariant Convolution Frameworks for Representation Learning [5.802794302956837]
  ユークリッドの深層学習はしばしば、表現空間が不規則で複雑な位相で湾曲した実世界の信号に対処するのに不十分である。 我々は、対称性群同変深層学習モデルの重要性と、グラフや3次元形状、非ユークリッド空間における畳み込みのような操作の実現に焦点を当てる。
  論文  参考訳（メタデータ） (2024-09-11T15:07:18Z)
• HiPerformer: Hierarchically Permutation-Equivariant Transformer for Time Series Forecasting [56.95572957863576]
  本稿では,同じ群を構成する成分間の関係と群間の関係を考察した階層的置換同変モデルを提案する。 実世界のデータを用いた実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-14T05:11:52Z)
• Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
  群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。 自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。 標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
  論文  参考訳（メタデータ） (2023-03-08T08:11:26Z)
• On the Implicit Bias of Linear Equivariant Steerable Networks [9.539074889921935]
  群不変二元分類における線形同変ステアブルネットワーク上の勾配流の暗黙バイアスについて検討する。 入力表現のユニタリな仮定の下では、ステアブルネットワークとデータ拡張の等価性を確立する。
  論文  参考訳（メタデータ） (2023-03-07T19:37:35Z)
• Bispectral Neural Networks [1.0323063834827415]
  ニューラルネットワークアーキテクチャBNN(Bispectral Neural Networks)を提案する。 BNNは、群、その既約表現、および対応する同変写像と完全不変写像を同時に学習することができる。
  論文  参考訳（メタデータ） (2022-09-07T18:34:48Z)
• Entangled Residual Mappings [59.02488598557491]
  残余接続の構造を一般化するために、絡み合った残余写像を導入する。 絡み合い残余写像は、アイデンティティスキップ接続を特別な絡み合い写像に置き換える。 絡み合った写像は、様々な深層モデルにまたがる特徴の反復的洗練を保ちながら、畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-06-02T19:36:03Z)
• Group-disentangled Representation Learning with Weakly-Supervised Regularization [13.311886256230814]
  GroupVAEは、一貫性と非絡み合いの表現を強制するために、単純だが効果的なクルバック・リーバーの発散に基づく正規化である。 本研究では, グループ差分表現が, 公平な分類や, 再構築, 分類, 転帰学習といった3次元形状関連タスクなど, 下流タスクにおいて改善されることを実証する。
  論文  参考訳（メタデータ） (2021-10-23T10:01:05Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• GroupifyVAE: from Group-based Definition to VAE-based Unsupervised Representation Disentanglement [91.9003001845855]
  他の誘導バイアスを導入しないと、VAEベースの非監視的非絡み合いは実現できない。 グループ理論に基づく定義から導かれる制約を非確率的帰納的バイアスとして活用し,vaeに基づく教師なし不連続に対処する。 提案手法の有効性を検証するために,5つのデータセット上で,vaeベースモデルが最も目立つ1800モデルをトレーニングした。
  論文  参考訳（メタデータ） (2021-02-20T09:49:51Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。