論文の概要: Constrained Mean Shift for Representation Learning

• arxiv url: http://arxiv.org/abs/2110.10309v1
• Date: Tue, 19 Oct 2021 23:14:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-24 05:17:59.973949
• Title: Constrained Mean Shift for Representation Learning
• Title（参考訳）: 表現学習のための制約付き平均シフト
• Authors: Ajinkya Tejankar, Soroush Abbasi Koohpayegani, and Hamed Pirsiavash
• Abstract要約: 我々は,新たな知識を活用できる非コントラスト表現学習法を開発した。 本研究の主な目的は,近傍の探索空間を制約することで平均シフトアルゴリズムを一般化することである。 本研究では,モダリティ間の雑音制約を利用して,自己教師付きビデオモデルのトレーニングを行うことが可能であることを示す。
• 参考スコア（独自算出の注目度）: 17.652439157554877
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We are interested in representation learning from labeled or unlabeled data. Inspired by recent success of self-supervised learning (SSL), we develop a non-contrastive representation learning method that can exploit additional knowledge. This additional knowledge may come from annotated labels in the supervised setting or an SSL model from another modality in the SSL setting. Our main idea is to generalize the mean-shift algorithm by constraining the search space of nearest neighbors, resulting in semantically purer representations. Our method simply pulls the embedding of an instance closer to its nearest neighbors in a search space that is constrained using the additional knowledge. By leveraging this non-contrastive loss, we show that the supervised ImageNet-1k pretraining with our method results in better transfer performance as compared to the baselines. Further, we demonstrate that our method is relatively robust to label noise. Finally, we show that it is possible to use the noisy constraint across modalities to train self-supervised video models.
• Abstract（参考訳）: ラベル付きデータやラベルなしデータから学ぶ表現に興味があります。 近年の自己教師型学習(SSL)の成功に触発されて,新たな知識を活用できる非コントラスト表現学習法を開発した。 この追加知識は、教師付き設定のアノテートラベルやSSL設定の別のモダリティからのSSLモデルに由来する可能性がある。 我々の主なアイデアは、近接する探索空間を制約することで平均シフトアルゴリズムを一般化し、意味的に純粋に表現することである。 提案手法は, 探索空間に隣接した近傍のインスタンスの埋め込みを, 付加的な知識を用いて制約するだけである。 この非競合的損失を活用することで,教師付き ImageNet-1k の事前訓練により,ベースラインに比べて高い転送性能が得られることを示す。 さらに,本手法はラベルノイズに対して比較的頑健であることを示す。 最後に,自己教師付ビデオモデルの学習には,モダリティをまたいだノイズ制約を用いることが可能であることを示す。

関連論文リスト

• Views Can Be Deceiving: Improved SSL Through Feature Space Augmentation [27.609748213840138]
  本研究では,視覚表現学習における自己監督学習(SSL)に対する刺激的特徴の影響について検討する。 SSLの一般的な拡張は、画像空間における望ましくない不変性を引き起こす可能性があることを示す。 そこで,本研究では,pruningによりエンコーダの後半層を正規化することにより,事前学習中にこれらの表現からスプリアス情報を除去するLateTVGを提案する。
  論文  参考訳（メタデータ） (2024-05-28T18:42:13Z)
• A Probabilistic Model behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 識別性SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示す。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Semantic Segmentation with Active Semi-Supervised Representation Learning [23.79742108127707]
  我々はラベル付きデータよりもはるかに少ない効果的なセマンティックセグメンテーションアルゴリズムを訓練する。 半教師あり学習のための平均教師アプローチを自己学習アプローチに置き換えることで、従来のS4ALアルゴリズムを拡張した。 セマンティックセグメンテーションのためのアクティブラーニングのためのデファクト標準であるCamVidおよびCityScapesデータセットについて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2022-10-16T00:21:43Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Deep Low-Density Separation for Semi-Supervised Classification [0.0]
  組込み機能に低密度分離を適用した新しいハイブリッド手法を提案する。 本手法は,比較的少数の手作業分類例から,何千人もの未ラベルユーザを効果的に分類する。
  論文  参考訳（メタデータ） (2022-05-22T11:00:55Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Can Semantic Labels Assist Self-Supervised Visual Representation Learning? [194.1681088693248]
  近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。 一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。 本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
  論文  参考訳（メタデータ） (2020-11-17T13:25:00Z)
• Information Bottleneck Constrained Latent Bidirectional Embedding for Zero-Shot Learning [59.58381904522967]
  本稿では,密な視覚-意味的結合制約を持つ埋め込み型生成モデルを提案する。 視覚空間と意味空間の両方の埋め込みパラメトリック分布を校正する統合潜在空間を学習する。 本手法は, 画像のラベルを生成することにより, トランスダクティブZSL設定に容易に拡張できる。
  論文  参考訳（メタデータ） (2020-09-16T03:54:12Z)
• Learning Invariant Representations for Reinforcement Learning without Reconstruction [98.33235415273562]
  本研究では,表現学習が画像などのリッチな観察からの強化学習を,ドメイン知識や画素再構成に頼ることなく促進する方法について検討する。 シミュレーションメトリクスは、連続MDPの状態間の振る舞いの類似性を定量化する。 修正された視覚的 MuJoCo タスクを用いてタスク関連情報を無視する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-18T17:59:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。