論文の概要: Homomorphic Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2211.08282v1
- Date: Tue, 15 Nov 2022 16:32:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 13:42:16.394315
- Title: Homomorphic Self-Supervised Learning
- Title(参考訳): 同型自己監督型学習
- Authors: T. Anderson Keller, Xavier Suau, Luca Zappella
- Abstract要約: 私たちは、同型自己監督学習と呼ばれる一般的なフレームワークを紹介します。
本稿では,拡張同型特徴抽出器を用いた入力拡張の利用を仮定する方法について述べる。
- 参考スコア(独自算出の注目度): 1.0742675209112622
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we observe that many existing self-supervised learning
algorithms can be both unified and generalized when seen through the lens of
equivariant representations. Specifically, we introduce a general framework we
call Homomorphic Self-Supervised Learning, and theoretically show how it may
subsume the use of input-augmentations provided an augmentation-homomorphic
feature extractor. We validate this theory experimentally for simple
augmentations, demonstrate how the framework fails when representational
structure is removed, and further empirically explore how the parameters of
this framework relate to those of traditional augmentation-based
self-supervised learning. We conclude with a discussion of the potential
benefits afforded by this new perspective on self-supervised learning.
- Abstract(参考訳): 本研究では,同変表現のレンズを通して,既存の自己教師付き学習アルゴリズムの多くを統一・一般化できることを示す。
具体的には,同型自己監督学習(homomorphic Self-Supervised Learning)と呼ぶ一般的なフレームワークを導入し,拡張同型特徴抽出器として入力強化の利用を仮定する方法を理論的に示す。
本理論は, 単純な拡張のために実験的に検証し, 表現構造が取り除かれた場合, フレームワークがいかに失敗するかを実証し, 従来の拡張型自己教師型学習とどのように関係するかを実験的に検討する。
結論として,この新しい視点による自己監督学習のメリットについて考察した。
関連論文リスト
- Flow Factorized Representation Learning [109.51947536586677]
本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。
本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
論文 参考訳(メタデータ) (2023-09-22T20:15:37Z) - Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。
本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
論文 参考訳(メタデータ) (2023-06-13T01:09:18Z) - On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。
これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。
この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文 参考訳(メタデータ) (2023-06-07T21:35:26Z) - RELAX: Representation Learning Explainability [10.831313203043514]
本稿では、帰属に基づく表現の説明のための最初のアプローチであるRELAXを提案する。
ReLAXは、入力とマスクアウトされた自身のバージョンの間の表現空間における類似性を測定することで表現を説明する。
我々はRELAXの理論的解釈を提供し、教師なし学習を用いて訓練された特徴抽出器を新規に解析する。
論文 参考訳(メタデータ) (2021-12-19T14:51:31Z) - Properties from Mechanisms: An Equivariance Perspective on Identifiable
Representation Learning [79.4957965474334]
教師なし表現学習の主な目標は、データ生成プロセスが潜在プロパティを回復するために「反転」することである。
この論文は「進化を支配するメカニズムの知識を活用して潜伏特性を識別するのか?」と問う。
我々は、可能なメカニズムの集合に関する知識が異なるため、不特定性の原因の完全な特徴づけを提供する。
論文 参考訳(メタデータ) (2021-10-29T14:04:08Z) - Interpreting and improving deep-learning models with reality checks [13.287382944078562]
この章では、1つの予測のために特徴と特徴グループに重要さをもたらすことによってモデルを解釈することを目的とした最近の研究について取り上げる。
これらの属性は、ニューラルネットワークの一般化を直接的に改善したり、あるいは単純なモデルに蒸留するためにどのように使用できるかを示す。
論文 参考訳(メタデータ) (2021-08-16T00:58:15Z) - Leveraging Hidden Structure in Self-Supervised Learning [2.385916960125935]
本稿では,自己指導と構造学習を統合した相互情報目的に基づく原則的枠組みを提案する。
CIFAR-10の予備実験により、下流分類タスクにおいて、提案フレームワークがより高度な一般化性能を達成することを示す。
論文 参考訳(メタデータ) (2021-06-30T13:35:36Z) - A Self-Supervised Framework for Function Learning and Extrapolation [1.9374999427973014]
本稿では,学習者が一般化を支援する表現を取得するためのフレームワークを提案する。
得られた表現は、教師なし時系列学習において、他のモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-06-14T12:41:03Z) - Functional Regularization for Representation Learning: A Unified
Theoretical Perspective [27.93916012334704]
教師なしおよび自己教師なしの学習アプローチは、下流予測タスクの表現を学習するための重要なツールとなっている。
本稿では、ラベルなしデータを用いて学習可能な関数を通して表現に正規化を付与するものとして、このようなアプローチがいくつか考えられる統一的な視点を示す。
本稿では,これらの手法のサンプル複雑性を分析するための識別的理論的枠組みを提案し,学習可能な正規化関数を実現するために(Balcan and Blum, 2010)の枠組みを一般化する。
論文 参考訳(メタデータ) (2020-08-06T04:06:04Z) - Self-supervised Learning from a Multi-view Perspective [121.63655399591681]
自己教師型表現はタスク関連情報を抽出し,タスク関連情報を破棄することができることを示す。
我々の理論的枠組みは、自己教師型学習目標設計のより広い空間への道を開くものである。
論文 参考訳(メタデータ) (2020-06-10T00:21:35Z) - Instance-Based Learning of Span Representations: A Case Study through
Named Entity Recognition [48.06319154279427]
本研究では,スパン間の類似性を学習するインスタンスベースの学習手法を提案する。
本手法では,性能を犠牲にすることなく高い解釈性を持つモデルを構築することができる。
論文 参考訳(メタデータ) (2020-04-29T23:32:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。