論文の概要: Affine transformation estimation improves visual self-supervised
learning
- arxiv url: http://arxiv.org/abs/2402.09071v1
- Date: Wed, 14 Feb 2024 10:32:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 16:09:09.954890
- Title: Affine transformation estimation improves visual self-supervised
learning
- Title(参考訳): アフィン変換推定は視覚自己教師あり学習を改善する
- Authors: David Torpey and Richard Klein
- Abstract要約: 本研究では,アフィン変換の予測表現を制約するモジュールを追加することにより,学習プロセスの性能と効率が向上することを示す。
我々は、様々な近代的な自己監督モデルで実験を行い、全てのケースで性能改善を見る。
- 参考スコア(独自算出の注目度): 4.40560654491339
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The standard approach to modern self-supervised learning is to generate
random views through data augmentations and minimise a loss computed from the
representations of these views. This inherently encourages invariance to the
transformations that comprise the data augmentation function. In this work, we
show that adding a module to constrain the representations to be predictive of
an affine transformation improves the performance and efficiency of the
learning process. The module is agnostic to the base self-supervised model and
manifests in the form of an additional loss term that encourages an aggregation
of the encoder representations to be predictive of an affine transformation
applied to the input images. We perform experiments in various modern
self-supervised models and see a performance improvement in all cases. Further,
we perform an ablation study on the components of the affine transformation to
understand which of them is affecting performance the most, as well as on key
architectural design decisions.
- Abstract(参考訳): 現代の自己教師付き学習への標準的なアプローチは、データ拡張を通じてランダムなビューを生成し、これらのビューの表現から計算された損失を最小限に抑えることである。
これは本質的に、データ拡張関数を構成する変換に対する不変性を促進する。
本研究では,アフィン変換の予測に制約を与えるモジュールを追加することで,学習プロセスの性能と効率が向上することを示す。
このモジュールはベースとなる自己教師付きモデルと無関係であり、エンコーダ表現の集約が入力画像に適用されるアフィン変換の予測となるように促される追加の損失項の形で表される。
我々は、様々な近代的な自己監督モデルで実験を行い、全てのケースで性能改善を見る。
さらに,アフィン変換の構成要素についてアブレーション研究を行い,そのどれがパフォーマンスに最も影響を与えているか,および重要な設計上の決定について理解する。
関連論文リスト
- Self-Supervised Representation Learning with Meta Comprehensive
Regularization [11.387994024747842]
既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。
提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。
本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
論文 参考訳(メタデータ) (2024-03-03T15:53:48Z) - Minusformer: Improving Time Series Forecasting by Progressively Learning
Residuals [15.815842882043734]
我々は,情報集約機構を付加と減算から再構築することで,バニラ変圧器を改修する。
本稿では,原モデルの各ブロックに補助出力分岐を組み込んで,最終的な予測に導くハイウェイを構築する。
提案手法は既存の最先端手法よりも優れており,各データセットの平均性能は11.9%向上した。
論文 参考訳(メタデータ) (2024-02-04T03:54:31Z) - Flow Factorized Representation Learning [109.51947536586677]
本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。
本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
論文 参考訳(メタデータ) (2023-09-22T20:15:37Z) - ExpPoint-MAE: Better interpretability and performance for
self-supervised point cloud transformers [9.881466104115352]
マスク付き自動符号化の有効性を事前学習方式として評価し,代替手段としてMomentum Contrastを探索する。
我々は,トランスフォーマーが意味論的に意味のある領域への参加を学ぶことを観察し,事前学習が基礎となる幾何学の理解を深めることを示す。
論文 参考訳(メタデータ) (2023-06-19T09:38:21Z) - Towards Robust and Adaptive Motion Forecasting: A Causal Representation
Perspective [72.55093886515824]
本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。
我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。
合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
論文 参考訳(メタデータ) (2021-11-29T18:59:09Z) - Learning Rich Nearest Neighbor Representations from Self-supervised
Ensembles [60.97922557957857]
推論時間における勾配降下から直接表現を学習する新しい手法により、自己教師付きモデルアンサンブルを行うためのフレームワークを提供する。
この技術は、ドメイン内のデータセットと転送設定の両方において、k-nearestの隣人によって測定されるように、表現品質を改善する。
論文 参考訳(メタデータ) (2021-10-19T22:24:57Z) - Visformer: The Vision-friendly Transformer [105.52122194322592]
我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。
同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
論文 参考訳(メタデータ) (2021-04-26T13:13:03Z) - More Is More -- Narrowing the Generalization Gap by Adding
Classification Heads [8.883733362171032]
我々は「TransNet」と呼ばれる入力変換に基づく既存のニューラルネットワークモデルのためのアーキテクチャ拡張を導入する。
私たちのモデルは、トレーニング時間のみに使用でき、予測のために刈り取られ、結果としてベースモデルと同等のアーキテクチャになります。
論文 参考訳(メタデータ) (2021-02-09T16:30:33Z) - Explicit homography estimation improves contrastive self-supervised
learning [0.30458514384586394]
本稿では,自己教師付きコントラスト学習パラダイムにおける追加目標として機能するモジュールを提案する。
アフィン変換やホモグラフィのパラメータをレグレッションするためにこのモジュールを組み込むことで、パフォーマンスと学習速度の両方が向上することを示す。
論文 参考訳(メタデータ) (2021-01-12T19:33:37Z) - Progressive Self-Guided Loss for Salient Object Detection [102.35488902433896]
画像中の深層学習に基づくサラエント物体検出を容易にするプログレッシブ自己誘導損失関数を提案する。
我々のフレームワークは適応的に集約されたマルチスケール機能を利用して、健全な物体の探索と検出を効果的に行う。
論文 参考訳(メタデータ) (2021-01-07T07:33:38Z) - Guided Variational Autoencoder for Disentanglement Learning [79.02010588207416]
本稿では,潜在表現非絡み合い学習を行うことで,制御可能な生成モデルを学習できるアルゴリズム,Guided-VAEを提案する。
我々は、ガイド-VAEにおける教師なし戦略と教師なし戦略を設計し、バニラVAE上でのモデリングと制御能力の強化を観察する。
論文 参考訳(メタデータ) (2020-04-02T20:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。