論文の概要: Self-supervised Transformation Learning for Equivariant Representations

• arxiv url: http://arxiv.org/abs/2501.08712v1
• Date: Wed, 15 Jan 2025 10:54:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:53:39.960879
• Title: Self-supervised Transformation Learning for Equivariant Representations
• Title（参考訳）: 等価表現のための自己教師付き変換学習
• Authors: Jaemyung Yu, Jaehyun Choi, Dong-Jae Lee, HyeongGwon Hong, Junmo Kim,
• Abstract要約: 教師なし表現学習は、様々な機械学習タスクを大幅に進歩させた。 本稿では,変換ラベルを画像ペアから派生した変換表現に置き換える自己教師あり変換学習(STL)を提案する。 さまざまな分類タスクと検出タスクにまたがって、アプローチの有効性を実証し、11のベンチマークのうち7つで既存の手法より優れています。
• 参考スコア（独自算出の注目度）: 26.207358743969277
• License:
• Abstract: Unsupervised representation learning has significantly advanced various machine learning tasks. In the computer vision domain, state-of-the-art approaches utilize transformations like random crop and color jitter to achieve invariant representations, embedding semantically the same inputs despite transformations. However, this can degrade performance in tasks requiring precise features, such as localization or flower classification. To address this, recent research incorporates equivariant representation learning, which captures transformation-sensitive information. However, current methods depend on transformation labels and thus struggle with interdependency and complex transformations. We propose Self-supervised Transformation Learning (STL), replacing transformation labels with transformation representations derived from image pairs. The proposed method ensures transformation representation is image-invariant and learns corresponding equivariant transformations, enhancing performance without increased batch complexity. We demonstrate the approach's effectiveness across diverse classification and detection tasks, outperforming existing methods in 7 out of 11 benchmarks and excelling in detection. By integrating complex transformations like AugMix, unusable by prior equivariant methods, this approach enhances performance across tasks, underscoring its adaptability and resilience. Additionally, its compatibility with various base models highlights its flexibility and broad applicability. The code is available at https://github.com/jaemyung-u/stl.
• Abstract（参考訳）: 教師なし表現学習は、様々な機械学習タスクを大幅に進歩させた。 コンピュータビジョン領域では、最先端のアプローチはランダムな作物や色ジッタのような変換を利用して不変表現を実現し、変換にもかかわらず意味的に同じ入力を埋め込む。 しかし、これは、ローカライゼーションや花の分類といった正確な特徴を必要とするタスクのパフォーマンスを低下させる可能性がある。 これを解決するために、近年の研究では、変換に敏感な情報をキャプチャする同変表現学習を取り入れている。 しかし、現在の手法は変換ラベルに依存しており、従って相互依存や複雑な変換に苦慮している。 本稿では,変換ラベルを画像ペアから派生した変換表現に置き換える自己教師あり変換学習(STL)を提案する。 提案手法は、変換表現が画像不変であることを保証するとともに、対応する同変変換を学習し、バッチの複雑さを増大させることなく性能を向上させる。 多様な分類タスクと検出タスクにまたがるアプローチの有効性を実証し、11ベンチマーク中7ベンチマークで既存手法より優れ、検出性に優れていることを示す。 AugMixのような複雑な変換を統合することで、従来の同変の手法では使用できない方法で、このアプローチはタスク間のパフォーマンスを高め、適応性とレジリエンスを強調します。 さらに、様々なベースモデルとの互換性は、柔軟性と幅広い適用性を強調している。 コードはhttps://github.com/jaemyung-u/stl.comで公開されている。

関連論文リスト

• In-Context Symmetries: Self-Supervised Learning through Contextual World Models [41.61360016455319]
  我々は、文脈に注意を払って、異なる変換に不変あるいは同変に適応できる一般的な表現を学ぶことを提案する。 提案するアルゴリズムであるContextual Self-Supervised Learning (ContextSSL)は,すべての変換に等しくなることを学習する。
  論文  参考訳（メタデータ） (2024-05-28T14:03:52Z)
• Equivariant Spatio-Temporal Self-Supervision for LiDAR Object Detection [37.142470149311904]
  本研究では,空間的および時間的拡張を両立させることにより,時間的同変学習の枠組みを提案する。 既存の等変および不変のアプローチを多くの設定で上回る3次元物体検出のための事前学習法を示す。
  論文  参考訳（メタデータ） (2024-04-17T20:41:49Z)
• Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
  群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。 自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。 標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
  論文  参考訳（メタデータ） (2023-03-08T08:11:26Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• ParGAN: Learning Real Parametrizable Transformations [50.51405390150066]
  本稿では、画像変換学習のためのサイクル一貫性GANフレームワークの一般化であるParGANを提案する。 提案したジェネレータは、画像と変換のパラメトリゼーションの両方を入力とする。 注釈付きパラメトリゼーションを伴わない不整合画像領域では、このフレームワークはスムーズな生成が可能であり、同時に複数の変換を学習できることを示す。
  論文  参考訳（メタデータ） (2022-11-09T16:16:06Z)
• Transformation Coding: Simple Objectives for Equivariant Representations [17.544323284367927]
  簡単な目的を通した均質な深層埋め込みを求める深層表現学習への非生成的アプローチを提案する。 既存の同変ネットワークとは対照的に、我々の変換符号化アプローチはフィードフォワード層やアーキテクチャの選択を制約しない。
  論文  参考訳（メタデータ） (2022-02-19T01:43:13Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Adaptive Image Transformations for Transfer-based Adversarial Attack [73.74904401540743]
  適応画像変換学習(AITL)と呼ばれる新しいアーキテクチャを提案する。 精巧に設計した学習者は、入力画像固有の画像変換の最も効果的な組み合わせを適応的に選択する。 本手法は、通常訓練されたモデルと防衛モデルの両方において、各種設定下での攻撃成功率を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-11-27T08:15:44Z)
• Robust Training Using Natural Transformation [19.455666609149567]
  画像分類アルゴリズムのロバスト性を改善するための逆学習手法であるNaTraを提案する。 クラス識別とは無関係な入力画像の属性をターゲティングし、それらの属性を操作して実世界の自然変換を模倣します。 本手法の有効性を,よく訓練されたGANから導かれる非絡み合った潜在表現を用いて実証する。
  論文  参考訳（メタデータ） (2021-05-10T01:56:03Z)
• Meta-Learning Symmetries by Reparameterization [63.85144439337671]
  データから対応するパラメータ共有パターンを学習し、等価性をネットワークに学習し、符号化する手法を提案する。 本実験は,画像処理タスクで使用される共通変換に等価性をエンコードして自動的に学習できることを示唆する。
  論文  参考訳（メタデータ） (2020-07-06T17:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。