論文の概要: Towards Efficient and Effective Self-Supervised Learning of Visual Representations

• arxiv url: http://arxiv.org/abs/2210.09866v1
• Date: Tue, 18 Oct 2022 13:55:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 13:55:11.019356
• Title: Towards Efficient and Effective Self-Supervised Learning of Visual Representations
• Title（参考訳）: 視覚表現の効率的かつ効果的な自己教師付き学習を目指して
• Authors: Sravanti Addepalli, Kaushal Bhogale, Priyam Dey, R.Venkatesh Babu
• Abstract要約: 自己監督は視覚的表現学習のための提案的な方法として現れてきた。 より高速に収束する適切な補助タスクを用いて,これらの手法を強化することを提案する。 提案手法は回転予測のタスクを利用して,既存の最先端手法の効率を向上させる。
• 参考スコア（独自算出の注目度）: 41.92884427579068
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervision has emerged as a propitious method for visual representation learning after the recent paradigm shift from handcrafted pretext tasks to instance-similarity based approaches. Most state-of-the-art methods enforce similarity between various augmentations of a given image, while some methods additionally use contrastive approaches to explicitly ensure diverse representations. While these approaches have indeed shown promising direction, they require a significantly larger number of training iterations when compared to the supervised counterparts. In this work, we explore reasons for the slow convergence of these methods, and further propose to strengthen them using well-posed auxiliary tasks that converge significantly faster, and are also useful for representation learning. The proposed method utilizes the task of rotation prediction to improve the efficiency of existing state-of-the-art methods. We demonstrate significant gains in performance using the proposed method on multiple datasets, specifically for lower training epochs.
• Abstract（参考訳）: 自己スーパービジョン(self-supervision)は、手作りのプリテキストタスクからインスタンス類似性に基づくアプローチへの最近のパラダイムシフトの後、視覚的表現学習の広範な方法として浮上した。 ほとんどの最先端の手法は、与えられた画像の様々な拡張の類似性を強制する一方で、異なる表現を明確にするために対照的なアプローチを使う方法もある。 これらのアプローチは確かに有望な方向を示しているが、教師付きアプローチと比較して、はるかに多くのトレーニングイテレーションが必要になる。 本研究では,これらの手法が緩やかに収束する理由を考察し,より高速に収束し,表現学習にも有用な補助タスクを用いてそれらを強化することを提案する。 提案手法は回転予測のタスクを利用して既存の最先端手法の効率を向上させる。 本研究では,複数のデータセット,特に低いトレーニング期間において,提案手法を用いた性能の大幅な向上を示す。

関連論文リスト

• A Probabilistic Model behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 識別性SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示す。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• ViewMix: Augmentation for Robust Representation in Self-Supervised Learning [1.6589012298747952]
  統合埋め込みアーキテクチャに基づく自己教師型学習手法は、データ拡張の構成を、その強力な表現学習能力の重要な要素とみなしている。 自己教師型学習に特化して設計されたViewMix拡張ポリシーを提案し,同じ画像の異なるビューを生成すると,パッチをカット&ペーストする。 また、ViewMix拡張ポリシーの導入は、最先端手法における表現の堅牢性を促進することも実証された。
  論文  参考訳（メタデータ） (2023-09-06T21:04:53Z)
• From Patches to Objects: Exploiting Spatial Reasoning for Better Visual Representations [2.363388546004777]
  本研究では,空間的推論に基づく新しい予備的事前学習手法を提案する。 本提案手法は,識別的自己管理手法の補助的タスクとして空間推論を導入することで,より柔軟なコントラスト学習の定式化を実現する。
  論文  参考訳（メタデータ） (2023-05-21T07:46:46Z)
• Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
  論文  参考訳（メタデータ） (2023-03-21T14:24:58Z)
• Sample-efficient Adversarial Imitation Learning [45.400080101596956]
  状態と行動表現を学習するための自己教師付き表現に基づく対向的模倣学習法を提案する。 本研究は,M MuJoCo上での既存対向模倣学習法に対して,100対の専門的状態-作用ペアに制限された設定で相対的に39%改善したことを示す。
  論文  参考訳（メタデータ） (2023-03-14T12:36:01Z)
• Self-Supervised Image Representation Learning: Transcending Masking with Paired Image Overlay [10.715255809531268]
  本稿では,自己教師型学習には適用されていない画像のオーバーレイ化という,新たな画像強調手法を提案する。 提案手法は,ダウンストリームタスクにおいて確固とした性能を示す自己教師付き学習手法であるコントラスト学習を用いて評価する。
  論文  参考訳（メタデータ） (2023-01-23T07:00:04Z)
• Towards Better Understanding Attribution Methods [77.1487219861185]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
  論文  参考訳（メタデータ） (2022-05-20T20:50:17Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Self-supervised Co-training for Video Representation Learning [103.69904379356413]
  実例に基づく情報ノイズコントラスト推定訓練に意味クラス正の付加を施すことの利点について検討する。 本稿では,インフォネッションNCEの損失を改善するための,自己指導型協調学習手法を提案する。 本研究では,2つの下流タスク(行動認識とビデオ検索)における学習表現の質を評価する。
  論文  参考訳（メタデータ） (2020-10-19T17:59:01Z)
• Improving Transformation Invariance in Contrastive Representation Learning [31.223892428863238]
  本稿では、新しい正規化器を用いて変換下で表現がどのように変化するかを制御するコントラスト学習のための学習目標を提案する。 第二に、元の入力の複数の変換からのエンコーディングを結合した機能平均化アプローチを導入することにより、テスト時間表現の生成方法を変更することを提案する。 第三に、複数の下流タスクを持つ微分可能生成プロセスの文脈において、私たちのアイデアを探求するために、新しいSpirographデータセットを導入します。
  論文  参考訳（メタデータ） (2020-10-19T13:49:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。