論文の概要: Structuring Representation Geometry with Rotationally Equivariant Contrastive Learning

• arxiv url: http://arxiv.org/abs/2306.13924v1
• Date: Sat, 24 Jun 2023 10:07:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 18:08:09.282731
• Title: Structuring Representation Geometry with Rotationally Equivariant Contrastive Learning
• Title（参考訳）: 回転同変コントラスト学習を用いた構造的表現幾何学
• Authors: Sharut Gupta, Joshua Robinson, Derek Lim, Soledad Villar, Stefanie Jegelka
• Abstract要約: 自己教師付き学習は、画像などの生の知覚データを、単純なユークリッド距離が有意義なデータの変動を測定するようなコンパクトな空間に変換する。 この定式化は、埋め込み空間の単純な変換に対応するように入力空間の変換を強制することにより、埋め込み空間に追加の幾何学的構造を加えることによって拡張する。 我々は、同変損失と非崩壊項を単に組み合わせれば、非自明な表現が得られることを示す。
• 参考スコア（独自算出の注目度）: 42.20218717636608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning converts raw perceptual data such as images to a compact space where simple Euclidean distances measure meaningful variations in data. In this paper, we extend this formulation by adding additional geometric structure to the embedding space by enforcing transformations of input space to correspond to simple (i.e., linear) transformations of embedding space. Specifically, in the contrastive learning setting, we introduce an equivariance objective and theoretically prove that its minima forces augmentations on input space to correspond to rotations on the spherical embedding space. We show that merely combining our equivariant loss with a non-collapse term results in non-trivial representations, without requiring invariance to data augmentations. Optimal performance is achieved by also encouraging approximate invariance, where input augmentations correspond to small rotations. Our method, CARE: Contrastive Augmentation-induced Rotational Equivariance, leads to improved performance on downstream tasks, and ensures sensitivity in embedding space to important variations in data (e.g., color) that standard contrastive methods do not achieve. Code is available at https://github.com/Sharut/CARE.
• Abstract（参考訳）: 自己教師付き学習は、画像などの生の知覚データを、ユークリッド距離が有意義なデータの変動を測定するようなコンパクトな空間に変換する。 本稿では、埋め込み空間の単純(線型)変換に対応する入力空間の変換を強制することにより、埋め込み空間に幾何学的構造を加えることにより、この定式化を拡張する。 具体的には, 対照的な学習設定において, 等分散目標を導入し, その最小化が球面埋め込み空間の回転に対応する入力空間の増大を理論的に証明する。 共変項と同変損失を組み合わせるだけで、データ拡張の不変性を必要とせず、非自明な表現が得られることを示す。 最適性能は、入力増強が小さな回転に対応するような近似不変性を奨励することで達成される。 提案手法,注意:コントラスト強化によるローテーション等分散は下流タスクの性能向上につながり,標準コントラスト法では達成できない重要なデータ(色など)への埋め込み空間の感度を保証する。 コードはhttps://github.com/Sharut/CAREで公開されている。

関連論文リスト

• Thinner Latent Spaces: Detecting dimension and imposing invariance through autoencoder gradient constraints [9.380902608139902]
  ネットワークの潜在層内の直交関係を利用して、非線形多様体データセットの内在次元性を推定できることを示す。 微分幾何学に依拠する関係理論を概説し、対応する勾配偏光最適化アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2024-08-28T20:56:35Z)
• Equivariant Spatio-Temporal Self-Supervision for LiDAR Object Detection [37.142470149311904]
  本研究では,空間的および時間的拡張を両立させることにより,時間的同変学習の枠組みを提案する。 既存の等変および不変のアプローチを多くの設定で上回る3次元物体検出のための事前学習法を示す。
  論文  参考訳（メタデータ） (2024-04-17T20:41:49Z)
• FRED: Towards a Full Rotation-Equivariance in Aerial Image Object Detection [28.47314201641291]
  FRED(Fully Rotation-Equivariant Oriented Object Detector)を導入する。 提案手法は,DOTA-v1.0では同等の性能を示し,DOTA-v1.5では1.5mAP,モデルパラメータでは16%と大幅に低下する。
  論文  参考訳（メタデータ） (2023-12-22T09:31:43Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• EquiMod: An Equivariance Module to Improve Self-Supervised Learning [77.34726150561087]
  自己教師付き視覚表現法は教師付き学習性能とのギャップを埋めている。 これらの手法は、データ拡張によって生成された関連する合成入力の埋め込みの類似性を最大化することに依存する。 学習された潜在空間を構成する一般同値加群であるEquiModを導入する。
  論文  参考訳（メタデータ） (2022-11-02T16:25:54Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Roto-Translation Equivariant Super-Resolution of Two-Dimensional Flows Using Convolutional Neural Networks [0.15229257192293202]
  畳み込みニューラルネットワーク(CNN)は、画像の色のような方向を持たない量としてベクトルを処理することが多い。 本研究では,ベクトルを幾何学的対象として扱う場合の2次元流体への超解像効果について検討した。
  論文  参考訳（メタデータ） (2022-02-22T07:07:07Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Optimization for Oriented Object Detection via Representation Invariance Loss [2.501282372971187]
  主流の回転検出器は、回転物体を表すために指向境界ボックス(OBB)または四方境界ボックス(QBB)を使用する。 回転物体に対する境界ボックス回帰を最適化するために,Representation Invariance Loss (RIL)を提案する。 本手法は,リモートセンシングデータセットとシーンテキストデータセットの実験において,一貫性と大幅な改善を実現する。
  論文  参考訳（メタデータ） (2021-03-22T07:55:33Z)
• Invariant Integration in Deep Convolutional Feature Space [77.99182201815763]
  より深いニューラルネットワークアーキテクチャに事前知識を原則的に組み込む方法を示す。 本稿では,Rotated-MNISTデータセットの最先端性能について報告する。
  論文  参考訳（メタデータ） (2020-04-20T09:45:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。