論文の概要: Automatic Shortcut Removal for Self-Supervised Representation Learning

• arxiv url: http://arxiv.org/abs/2002.08822v3
• Date: Tue, 30 Jun 2020 11:15:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 07:53:37.279143
• Title: Automatic Shortcut Removal for Self-Supervised Representation Learning
• Title（参考訳）: 自己教師付き表現学習のためのショートカット自動除去
• Authors: Matthias Minderer, Olivier Bachem, Neil Houlsby, Michael Tschannen
• Abstract要約: 自己教師付き視覚表現学習では、人間のアノテーションを使わずにラベルを安価に生成できる「テキストタスク」に基づいて特徴抽出器を訓練する。 このような「ショートカット」機能や、その効果を減らすための手書き設計スキームの特定に多くの作業が費やされている。 この仮定は、"lens"ネットワークをトレーニングして、プリテキストタスクのパフォーマンスを最大に低下させる小さな画像変更を行うことによって、一般的なプリテキストタスクやデータセットにまたがって成り立つことを示す。
• 参考スコア（独自算出の注目度）: 39.636691159890354
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In self-supervised visual representation learning, a feature extractor is trained on a "pretext task" for which labels can be generated cheaply, without human annotation. A central challenge in this approach is that the feature extractor quickly learns to exploit low-level visual features such as color aberrations or watermarks and then fails to learn useful semantic representations. Much work has gone into identifying such "shortcut" features and hand-designing schemes to reduce their effect. Here, we propose a general framework for mitigating the effect shortcut features. Our key assumption is that those features which are the first to be exploited for solving the pretext task may also be the most vulnerable to an adversary trained to make the task harder. We show that this assumption holds across common pretext tasks and datasets by training a "lens" network to make small image changes that maximally reduce performance in the pretext task. Representations learned with the modified images outperform those learned without in all tested cases. Additionally, the modifications made by the lens reveal how the choice of pretext task and dataset affects the features learned by self-supervision.
• Abstract（参考訳）: 自己教師付き視覚表現学習では、特徴抽出器は人間のアノテーションなしでラベルを安価に生成できる「前文タスク」で訓練される。 このアプローチにおける中心的な課題は、特徴抽出器が色収差や透かしなどの低レベルな視覚的特徴を素早く活用し、次に有用な意味表現を学ばないことである。 機能を特定し、その効果を減らすためのハンドデザインスキームに多くの作業が費やされた。 本稿では,効果ショートカット機能を緩和するための汎用フレームワークを提案する。 私たちの重要な前提は、プリテキストタスクを解くために最初に活用されるこれらの機能は、そのタスクを困難にするために訓練された敵にとって最も脆弱である、ということです。 この仮定は、"lens"ネットワークをトレーニングして、プリテキストタスクのパフォーマンスを最大に低下させる小さな画像変更を行うことで、共通のプリテキストタスクとデータセットにまたがる。 修正されたイメージで学んだ表現は、すべてのテストケースで学習した画像よりも優れています。 さらに、レンズによる修正は、プレテキストタスクとデータセットの選択が、自己監督によって学習された特徴にどのように影響するかを明らかにする。

関連論文リスト

• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• Mixture of Self-Supervised Learning [2.191505742658975]
  自己教師型学習は、特定のタスクに適用される前にモデル上でトレーニングされるプレテキストタスクを使用することで機能する。 従来の研究では、プリテキストタスクとして1つのタイプの変換しか使用されていなかった。 これにより、複数のプリテキストタスクが使用されているかどうか、すべてのプリテキストタスクを組み合わせるためにゲーティングネットワークを使用するかどうか、という疑問が持ち上がる。
  論文  参考訳（メタデータ） (2023-07-27T14:38:32Z)
• Learning Transferable Pedestrian Representation from Multimodal Information Supervision [174.5150760804929]
  VAL-PATは、移動可能な表現を学習し、様々な歩行者分析タスクをマルチモーダル情報で強化する新しいフレームワークである。 まず、LUPerson-TAデータセットで事前トレーニングを行い、各画像にはテキストと属性アノテーションが含まれている。 次に、学習した表現を、人物のreID、人物属性認識、テキストベースの人物検索など、さまざまな下流タスクに転送する。
  論文  参考訳（メタデータ） (2023-04-12T01:20:58Z)
• Self-Supervision on Images and Text Reduces Reliance on Visual Shortcut Features [0.0]
  ショートカット機能は、トレーニングデータに対する関心の結果に関連しているが、もはや関連付けられていないか、テストやデプロイメント設定に存在しないインプットである。 画像とテキストで訓練された自己教師型モデルは、より堅牢な画像表現を提供し、視覚的ショートカット機能への依存を減らす。
  論文  参考訳（メタデータ） (2022-06-14T20:33:26Z)
• Improving Transferability of Representations via Augmentation-Aware Self-Supervision [117.15012005163322]
  AugSelfは、ランダムに強化された2つのサンプル間の拡張パラメータの違いを学習する補助的な自己教師型損失である。 私たちの直感は、AugSelfが学習表現における拡張認識情報の保存を奨励していることです。 AugSelfは、最新の最先端の表現学習手法に、無視できる追加のトレーニングコストで簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2021-11-18T10:43:50Z)
• Can contrastive learning avoid shortcut solutions? [88.249082564465]
  暗黙的特徴修正(IFM)は、より広い種類の予測的特徴を捉えるために、対照的なモデルを導くために、正と負のサンプルを変更する方法である。 IFMは特徴抑制を低減し、その結果、視覚および医用画像タスクのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-06-21T16:22:43Z)
• Automated Self-Supervised Learning for Graphs [37.14382990139527]
  本研究の目的は、複数のプリテキストタスクを効果的に活用する方法を検討することである。 我々は、多くの実世界のグラフ、すなわちホモフィリーの鍵となる原理を、様々な自己教師付きプレテキストタスクを効果的に探索するためのガイダンスとして利用している。 本稿では,自己教師型タスクの組み合わせを自動的に検索するAutoSSLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-10T03:09:20Z)
• Self-supervision of Feature Transformation for Further Improving Supervised Learning [6.508466234920147]
  CNNの機能は、セルフスーパービジョンにも使えます。 私たちのタスクでは、特定の機能領域を廃止し、これらの特徴を区別するためにモデルをトレーニングします。 オリジナルレーベルは、フィーチャートランスフォーメーションの自己監督を通じて、ジョイントレーベルに拡張される。
  論文  参考訳（メタデータ） (2021-06-09T09:06:33Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)
• Self-supervised visual feature learning with curriculum [0.24366811507669126]
  本稿では,カリキュラム学習からインスピレーションを得て,段階的に低レベル信号を除去する。 その結果,下流タスクの収束速度は著しく向上した。
  論文  参考訳（メタデータ） (2020-01-16T03:28:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。