論文の概要: A Generic Self-Supervised Framework of Learning Invariant Discriminative
Features
- arxiv url: http://arxiv.org/abs/2202.06914v1
- Date: Mon, 14 Feb 2022 18:09:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 15:42:49.012426
- Title: A Generic Self-Supervised Framework of Learning Invariant Discriminative
Features
- Title（参考訳）: 識別的特徴を学習する汎用的自己監督型フレームワーク
- Authors: Foivos Ntelemis, Yaochu Jin, Spencer A. Thomas
- Abstract要約: 本稿では,制約付き自己ラベル割り当てプロセスに基づく汎用SSLフレームワークを提案する。
提案手法は,AE構造に基づく最先端の表現学習手法よりも優れている。
- 参考スコア（独自算出の注目度）: 9.614694312155798
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning (SSL) has become a popular method for generating
invariant representations without the need for human annotations. Nonetheless,
the desired invariant representation is achieved by utilising prior online
transformation functions on the input data. As a result, each SSL framework is
customised for a particular data type, e.g., visual data, and further
modifications are required if it is used for other dataset types. On the other
hand, autoencoder (AE), which is a generic and widely applicable framework,
mainly focuses on dimension reduction and is not suited for learning invariant
representation. This paper proposes a generic SSL framework based on a
constrained self-labelling assignment process that prevents degenerate
solutions. Specifically, the prior transformation functions are replaced with a
self-transformation mechanism, derived through an unsupervised training process
of adversarial training, for imposing invariant representations. Via the
self-transformation mechanism, pairs of augmented instances can be generated
from the same input data. Finally, a training objective based on contrastive
learning is designed by leveraging both the self-labelling assignment and the
self-transformation mechanism. Despite the fact that the self-transformation
process is very generic, the proposed training strategy outperforms a majority
of state-of-the-art representation learning methods based on AE structures. To
validate the performance of our method, we conduct experiments on four types of
data, namely visual, audio, text, and mass spectrometry data, and compare them
in terms of four quantitative metrics. Our comparison results indicate that the
proposed method demonstrate robustness and successfully identify patterns
within the datasets.
- Abstract（参考訳）: 自己教師付き学習(SSL)は、人間のアノテーションを必要とせずに不変表現を生成する一般的な方法となっている。
それでも、所望の不変表現は、入力データ上の事前オンライン変換関数を利用して達成される。
結果として、各SSLフレームワークは特定のデータタイプ、例えばビジュアルデータのためにカスタマイズされ、他のデータセットタイプで使用される場合は、さらなる修正が必要になる。
一方、汎用的で広く適用可能なフレームワークであるオートエンコーダ(AE)は、主に次元の縮小に焦点を当てており、不変表現の学習には適していない。
本稿では,解の退化を防止する制約付き自己ラベル割り当てプロセスに基づく汎用SSLフレームワークを提案する。
具体的には、事前変換関数は、不変表現を暗示するための非教師なしの訓練プロセスによって導かれる自己変換機構に置き換えられる。
自己変換機構により、同一の入力データから拡張インスタンスのペアを生成することができる。
最後に,自己ラベル割り当てと自己変換機構を併用して,コントラスト学習に基づく学習目標を設計する。
自己変換プロセスが非常に一般的であるにもかかわらず、提案したトレーニング戦略は、AE構造に基づく最先端の表現学習方法の大部分を上回ります。
提案手法の性能を検証するために,視覚データ,音声データ,テキストデータ,質量分析データという4種類のデータについて実験を行い,4つの定量的指標を用いて比較した。
その結果,提案手法は頑健性を示し,データセット内のパターンの同定に成功した。
関連論文リスト
- A Probabilistic Model behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。
自己教師型学習のための生成潜在変数モデルを提案する。
識別性SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示す。
論文 参考訳（メタデータ） (2024-02-02T13:31:17Z) - Object Representations as Fixed Points: Training Iterative Refinement
Algorithms with Implicit Differentiation [88.14365009076907]
反復的洗練は表現学習に有用なパラダイムである。
トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
論文 参考訳（メタデータ） (2022-07-02T10:00:35Z) - Improving the Sample-Complexity of Deep Classification Networks with
Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。
そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。
本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文 参考訳（メタデータ） (2022-02-08T16:16:11Z) - Equivariant Contrastive Learning [20.369942206674576]
最先端の自己教師型学習(SSL)では、事前学習は意味的に良い表現を生成する。
私たちは人気のあるSSLメソッドを、Equivariant Self-Supervised Learning (E-SSL)という名前のより一般的なフレームワークに拡張します。
いくつかのコンピュータビジョンベンチマークにおいて,E-SSLの有効性を実証的に示す。
論文 参考訳（メタデータ） (2021-10-28T17:21:33Z) - Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。
近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。
我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-08T20:22:26Z) - Model-agnostic and Scalable Counterfactual Explanations via
Reinforcement Learning [0.5729426778193398]
本稿では,最適化手順をエンドツーエンドの学習プロセスに変換する深層強化学習手法を提案する。
実世界のデータを用いた実験により,本手法はモデルに依存しず,モデル予測からのフィードバックのみに依存することがわかった。
論文 参考訳（メタデータ） (2021-06-04T16:54:36Z) - Self-supervised Detransformation Autoencoder for Representation Learning
in Open Set Recognition [0.0]
オープンセット認識問題に対する自己超越手法であるDetransformation Autoencoder (DTAE)を提案する。
提案手法は,未知のクラスを検出し,未知のクラスを分類する上で,大きな利益をもたらす。
論文 参考訳（メタデータ） (2021-05-28T02:45:57Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳（メタデータ） (2021-03-01T21:14:33Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳（メタデータ） (2020-12-07T14:16:14Z) - BasisVAE: Translation-invariant feature-level clustering with
Variational Autoencoders [9.51828574518325]
変分オートエンコーダ(VAE)は、非線形次元削減のための柔軟でスケーラブルなフレームワークを提供する。
崩壊した変分推論スキームがBasisVAEのスケーラブルかつ効率的な推論にどのように寄与するかを示す。
論文 参考訳（メタデータ） (2020-03-06T23:10:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。