Fugu-MT 論文翻訳(概要): Group Equivariant Stand-Alone Self-Attention For Vision

論文の概要: Group Equivariant Stand-Alone Self-Attention For Vision

arxiv url: http://arxiv.org/abs/2010.00977v2
Date: Thu, 18 Mar 2021 19:19:38 GMT
ステータス: 処理完了
システム内更新日: 2022-10-12 00:30:01.425497
Title: Group Equivariant Stand-Alone Self-Attention For Vision
Title（参考訳）: ビジョンのための群同変スタンドアローンセルフアテンション
Authors: David W. Romero, Jean-Baptiste Cordonnier
Abstract要約: 群同変自己アテンションネットワーク(GSA-Nets)は自然に制御可能である。ビジョンベンチマーク実験では,非同変自己注意ネットワーク上でのGSA-Netの整合性向上を実証した。
参考スコア（独自算出の注目度）: 21.092521211326083
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We provide a general self-attention formulation to impose group equivariance to arbitrary symmetry groups. This is achieved by defining positional encodings that are invariant to the action of the group considered. Since the group acts on the positional encoding directly, group equivariant self-attention networks (GSA-Nets) are steerable by nature. Our experiments on vision benchmarks demonstrate consistent improvements of GSA-Nets over non-equivariant self-attention networks.
Abstract（参考訳）: 任意の対称性群に群同値を課す一般自己注意式を提供する。これは、考慮された群の作用に不変な位置符号化を定義することで達成される。群は位置エンコーディングに直接作用するため、群同変自己アテンションネットワーク(GSA-Nets)は自然に制御可能である。ビジョンベンチマーク実験では,非同変自己注意ネットワーク上でのGSA-Netの整合性向上を実証した。

関連論文リスト

Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
論文参考訳（メタデータ） (2023-03-08T08:11:26Z)
On the Implicit Bias of Linear Equivariant Steerable Networks [9.539074889921935]
群不変二元分類における線形同変ステアブルネットワーク上の勾配流の暗黙バイアスについて検討する。入力表現のユニタリな仮定の下では、ステアブルネットワークとデータ拡張の等価性を確立する。
論文参考訳（メタデータ） (2023-03-07T19:37:35Z)
Adapting to Latent Subgroup Shifts via Concepts and Proxies [82.01141290360562]
最適ターゲット予測器は、ソースドメインでのみ利用できる概念とプロキシ変数の助けを借りて、非パラメトリックに識別可能であることを示す。本研究では,データ生成プロセスに特有の潜在変数モデルを提案する。
論文参考訳（メタデータ） (2022-12-21T18:30:22Z)
Unsupervised Learning of Group Invariant and Equivariant Representations [10.252723257176566]
グループ不変および同変表現学習を教師なし深層学習の分野に拡張する。本稿では,エンコーダ・デコーダ・フレームワークに基づく一般学習戦略を提案する。このフレームワークでは,潜在表現を不変項と同変群アクション成分で分離する。鍵となる考え方は、ネットワークがグループ不変表現にデータをエンコードしてデコードすることを学習し、さらに適切なグループ動作を予測して、入力と出力のポーズを調整して再構成タスクを解決することである。
論文参考訳（メタデータ） (2022-02-15T16:44:21Z)
Generalize then Adapt: Source-Free Domain Adaptive Semantic Segmentation [78.38321096371106]
先行技術はラベル付きソースとラベルなしターゲットの両方への同時アクセスを前提としており、ソースフリー適応を必要とするシナリオには適さない。本研究では、タスクをa)ソースのみのドメイン一般化とb)ソースフリーなターゲット適応の2つに分割することで、ソースフリーのDAを可能にする。本研究では,空間的不規則性を回避し,擬似ラベル品質を向上する条件付き事前強化オートエンコーダを提案する。
論文参考訳（メタデータ） (2021-08-25T14:18:59Z)
Group Equivariant Neural Architecture Search via Group Decomposition and Reinforcement Learning [17.291131923335918]
我々は、同値ニューラルネットワークの文脈において、新しい群論的結果を証明する。また、計算複雑性を大幅に改善する同変ネットワークを構築するアルゴリズムを設計する。我々は、性能を最大化するグループ同変ネットワークの探索に深層Q-ラーニングを用いる。
論文参考訳（メタデータ） (2021-04-10T19:37:25Z)
GroupifyVAE: from Group-based Definition to VAE-based Unsupervised Representation Disentanglement [91.9003001845855]
他の誘導バイアスを導入しないと、VAEベースの非監視的非絡み合いは実現できない。グループ理論に基づく定義から導かれる制約を非確率的帰納的バイアスとして活用し,vaeに基づく教師なし不連続に対処する。提案手法の有効性を検証するために,5つのデータセット上で,vaeベースモデルが最も目立つ1800モデルをトレーニングした。
論文参考訳（メタデータ） (2021-02-20T09:49:51Z)
LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
論文参考訳（メタデータ） (2020-12-20T11:02:49Z)
Constraints on Maximal Entanglement Under Groups of Permutations [73.21730086814223]
絡み合いの集合は本質的に等しく、群作用の下で同じ軌道上にある。物理対称性群の正規化子および正規化部分群を利用することにより、これらの絡み合いの最大値に対する新しい一般化された関係を導入する。
論文参考訳（メタデータ） (2020-11-30T02:21:22Z)
Attentive Group Equivariant Convolutional Networks [24.090972304906497]
我々は、群畳み込みの一般化である注意型群同変畳み込みを提示する。我々のフレームワークはベンチマーク画像データセット上で従来のグループ畳み込みネットワークよりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2020-02-07T14:06:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。