論文の概要: Self-Supervised Learning Through Efference Copies

• arxiv url: http://arxiv.org/abs/2210.09224v1
• Date: Mon, 17 Oct 2022 16:19:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 15:44:59.692004
• Title: Self-Supervised Learning Through Efference Copies
• Title（参考訳）: Efference Copiesによる自己指導型学習
• Authors: Franz Scherr, Qinghai Guo, Timoleon Moraitis
• Abstract要約: 自己教師付き学習(SSL)手法は、機械学習(ML)のための未ラベルデータの豊富さを活用することを目的としている。 生物学的第一原理に基づくSSLフレームワークは、さまざまなSSLメソッドを統一し、脳内の学習を解明し、MLを改善する可能性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) methods aim to exploit the abundance of unlabelled data for machine learning (ML), however the underlying principles are often method-specific. An SSL framework derived from biological first principles of embodied learning could unify the various SSL methods, help elucidate learning in the brain, and possibly improve ML. SSL commonly transforms each training datapoint into a pair of views, uses the knowledge of this pairing as a positive (i.e. non-contrastive) self-supervisory sign, and potentially opposes it to unrelated, (i.e. contrastive) negative examples. Here, we show that this type of self-supervision is an incomplete implementation of a concept from neuroscience, the Efference Copy (EC). Specifically, the brain also transforms the environment through efference, i.e. motor commands, however it sends to itself an EC of the full commands, i.e. more than a mere SSL sign. In addition, its action representations are likely egocentric. From such a principled foundation we formally recover and extend SSL methods such as SimCLR, BYOL, and ReLIC under a common theoretical framework, i.e. Self-supervision Through Efference Copies (S-TEC). Empirically, S-TEC restructures meaningfully the within- and between-class representations. This manifests as improvement in recent strong SSL baselines in image classification, segmentation, object detection, and in audio. These results hypothesize a testable positive influence from the brain's motor outputs onto its sensory representations.
• Abstract（参考訳）: 自己教師付き学習(SSL)メソッドは、機械学習(ML)の膨大なデータを活用することを目的としている。 生物学的第一原理に基づくSSLフレームワークは、さまざまなSSLメソッドを統一し、脳内の学習を解明し、MLを改善する可能性がある。 sslは、各トレーニングデータポイントを1対のビューに変換し、このペアリングの知識をポジティブな(すなわち非矛盾的な)自己スーパーバイザリーサインとして使用し、潜在的に無関係な(コントラスト的な)ネガティブな例に対抗します。 本稿では,このタイプの自己スーパービジョンが神経科学の概念であるEfference Copy(EC)の不完全な実装であることを示す。 具体的には、脳はエフェクション、すなわち運動コマンドを通して環境を変換するが、単にSSLサイン以上の完全なコマンドのECに自身を送信する。 さらに、その作用表現は自我中心である可能性が高い。 このような原則的な基盤から、私たちはSimCLR、BYOL、RelicといったSSLメソッドを、共通の理論的枠組み、すなわち、自己スーパービジョン・スルー・エfference Copies (S-TEC)の下で正式に回復し、拡張します。 経験的に、S-TECはクラス内の表現とクラス間の表現を有意に再構成する。 これは、画像分類、セグメンテーション、オブジェクト検出、オーディオにおける最近の強力なSSLベースラインの改善として現れている。 これらの結果は、脳の運動の感覚表現に対するテスト可能なポジティブな影響を仮定する。

関連論文リスト

• Understanding the Role of Equivariance in Self-supervised Learning [51.56331245499712]
  同変自己教師学習(E-SSL)は、拡張に注意する機能を学ぶ。 我々は、同変タスクと分類タスクの相乗効果を生成するE-SSLにおける重要な説明アウト効果を同定する。 E-SSLの実用設計の原則をいくつか明らかにする。
  論文  参考訳（メタデータ） (2024-11-10T16:09:47Z)
• Reverse Engineering Self-Supervised Learning [17.720366509919167]
  自己教師型学習(SSL)は機械学習の強力なツールである。 本稿ではSSL学習表現の詳細な実験的検討を行う。
  論文  参考訳（メタデータ） (2023-05-24T23:15:28Z)
• Active Self-Supervised Learning: A Few Low-Cost Relationships Are All You Need [34.013568381942775]
  Self-Supervised Learning (SSL)は、ラベルのないデータから転送可能な表現を学習する選択肢のソリューションとして登場した。 本研究では,この原理を正のアクティブラーニング(PAL)によって形式化し,一般化する。 まず、SSLを超えて理論的に基礎を成す学習フレームワークを公開し、類似性グラフに基づいて、採用するオラクルに応じて教師付きおよび半教師付き学習に取り組むように拡張する。 第二に、事前知識、例えばいくつかのラベルをトレーニングパイプラインの変更なしにSSL損失に組み込むための一貫したアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2023-03-27T14:44:39Z)
• Understanding and Improving the Role of Projection Head in Self-Supervised Learning [77.59320917894043]
  自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。 現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。 学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
  論文  参考訳（メタデータ） (2022-12-22T05:42:54Z)
• On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning [104.00264962878956]
  コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。 我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。 CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
  論文  参考訳（メタデータ） (2022-07-22T03:49:50Z)
• MC-SSL0.0: Towards Multi-Concept Self-Supervised Learning [26.942174776511237]
  自己教師付き事前訓練は、多くの下流視覚アプリケーションにおいて教師付き事前訓練よりも優れていた。 この優位性は、トレーニング画像の不完全ラベル付けによる負の影響によるものである。 本研究では,ラベルを使わずに画像に現れる概念をモデル化する可能性について検討する。
  論文  参考訳（メタデータ） (2021-11-30T12:36:38Z)
• Demystifying How Self-Supervised Features Improve Training from Noisy Labels [16.281091780103736]
  ネットワークがラベルノイズに抵抗する理由と自己教師機能について検討する。 その結果,SSLから事前学習した品質エンコーダでは,クロスエントロピー損失によって訓練された単純な線形層が対称ラベルノイズに対して理論的に堅牢であることがわかった。
  論文  参考訳（メタデータ） (2021-10-18T05:41:57Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• LeBenchmark: A Reproducible Framework for Assessing Self-Supervised Representation Learning from Speech [63.84741259993937]
  膨大なラベルのないデータを用いた自己教師付き学習(SSL)は、画像処理と自然言語処理に成功している。 最近の研究では、音声からSSLも調べた。 音声からSSLを評価する再現可能なフレームワークであるLeBenchmarkを提案する。
  論文  参考訳（メタデータ） (2021-04-23T08:27:09Z)
• Interventional Few-Shot Learning [88.31112565383457]
  本稿では,新しいFew-Shot Learningパラダイム,Interventional Few-Shot Learningを提案する。 コードはhttps://github.com/yue-zhongqi/ifsl.comで公開されている。
  論文  参考訳（メタデータ） (2020-09-28T01:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。