論文の概要: Masked Siamese ConvNets

• arxiv url: http://arxiv.org/abs/2206.07700v1
• Date: Wed, 15 Jun 2022 17:52:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-16 13:13:53.875788
• Title: Masked Siamese ConvNets
• Title（参考訳）: マスク付きシャムコンベネット
• Authors: Li Jing, Jiachen Zhu, Yann LeCun
• Abstract要約: 自己教師付き学習は、様々な視覚ベンチマークにおいて教師付き手法よりも優れた性能を示している。 Masked siamese ネットワークは特定の帰納バイアスを必要とし、視覚変換器でしか動作しない。 この研究は、ConvNetsによるマスク付きシアムネットワークの問題点を実証的に研究する。
• 参考スコア（独自算出の注目度）: 17.337143119620755
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Self-supervised learning has shown superior performances over supervised methods on various vision benchmarks. The siamese network, which encourages embeddings to be invariant to distortions, is one of the most successful self-supervised visual representation learning approaches. Among all the augmentation methods, masking is the most general and straightforward method that has the potential to be applied to all kinds of input and requires the least amount of domain knowledge. However, masked siamese networks require particular inductive bias and practically only work well with Vision Transformers. This work empirically studies the problems behind masked siamese networks with ConvNets. We propose several empirical designs to overcome these problems gradually. Our method performs competitively on low-shot image classification and outperforms previous methods on object detection benchmarks. We discuss several remaining issues and hope this work can provide useful data points for future general-purpose self-supervised learning.
• Abstract（参考訳）: 自己教師付き学習は、様々なビジョンベンチマークにおいて教師付き手法よりも優れたパフォーマンスを示している。 siamese networkは、埋め込みを歪みに不変にすることを奨励するものであり、最も成功した自己教師付き視覚表現学習アプローチの1つである。 すべての拡張手法の中で、マスキングはあらゆる種類の入力に適用できる可能性があり、最小限のドメイン知識を必要とする最も一般的で簡単な方法である。 しかし、マスクされたシャムネットワークは特定の誘導バイアスを必要とし、視覚トランスフォーマーでのみ機能する。 この研究は、ConvNetsによるマスク付きシアムネットワークの問題点を実証的に研究する。 これらの問題を徐々に克服するための経験的設計をいくつか提案する。 本手法は低ショット画像分類において,従来手法よりも高い性能を発揮できる。 この研究が今後の汎用的な自己教師型学習に有用なデータポイントを提供できることを願っている。

関連論文リスト

• Masked Two-channel Decoupling Framework for Incomplete Multi-view Weak Multi-label Learning [21.49630640829186]
  本稿では,不完全な多視点弱多言語学習における複雑かつ現実的な課題に焦点をあてる。 本稿では,この問題を解決するために,ディープニューラルネットワークに基づくマスク付き2チャネルデカップリングフレームワークを提案する。 我々のモデルは任意のビューやラベルの欠如に完全に適応でき、また理想的な全データでもうまく機能する。
  論文  参考訳（メタデータ） (2024-04-26T11:39:50Z)
• Appearance Debiased Gaze Estimation via Stochastic Subject-Wise Adversarial Learning [33.55397868171977]
  外観に基づく視線推定はコンピュータビジョンにおいて注目されており、様々な深層学習技術を用いて顕著な改善が達成されている。 本稿では,被験者の外観を一般化するネットワークを訓練する,SAZE学習という新しい枠組みを提案する。 実験の結果,MPIIGazeデータセットとEyeDiapデータセットの3.89と4.42をそれぞれ達成した。
  論文  参考訳（メタデータ） (2024-01-25T00:23:21Z)
• Masking Improves Contrastive Self-Supervised Learning for ConvNets, and Saliency Tells You Where [63.61248884015162]
  我々は、畳み込みニューラルネットワークのためのコントラスト学習フレームワークにマスキング操作を組み込むことの負担を軽減することを目的としている。 マスクされた領域が、前景と背景の間に均等に分散されていることを考慮し、塩分濃度の制約を明示的に考慮することを提案する。
  論文  参考訳（メタデータ） (2023-09-22T09:58:38Z)
• Free-ATM: Exploring Unsupervised Learning on Diffusion-Generated Images with Free Attention Masks [64.67735676127208]
  テキストと画像の拡散モデルは、画像認識の恩恵を受ける大きな可能性を示している。 有望ではあるが、拡散生成画像の教師なし学習に特化した調査は不十分である。 上記フリーアテンションマスクをフル活用することで、カスタマイズされたソリューションを導入する。
  論文  参考訳（メタデータ） (2023-08-13T10:07:46Z)
• When Measures are Unreliable: Imperceptible Adversarial Perturbations toward Top-$k$ Multi-Label Learning [83.8758881342346]
  新しい損失関数は、視覚的および測定的不受容性を両立できる敵の摂動を生成するために考案された。 大規模ベンチマークデータセットを用いた実験により,提案手法が最上位の$kのマルチラベルシステムを攻撃する際の優位性を実証した。
  論文  参考訳（メタデータ） (2023-07-27T13:18:47Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• MixMask: Revisiting Masking Strategy for Siamese ConvNets [23.946791390657875]
  この研究は、textbfMixMaskと呼ばれる新しいフィリングベースのマスキング手法を導入している。 提案手法は,消去された領域を別の画像からのコンテンツに置き換えることにより,従来のマスキング手法で見られる情報の枯渇を効果的に解消する。 我々は,線形探索,半教師付きおよび教師付きファインタニング,オブジェクト検出,セグメンテーションなどの領域におけるフレームワークの性能向上を実証的に検証した。
  論文  参考訳（メタデータ） (2022-10-20T17:54:03Z)
• Evaluating the Label Efficiency of Contrastive Self-Supervised Learning for Multi-Resolution Satellite Imagery [0.0]
  遠隔センシング領域における自己教師付き学習は、容易に利用可能なラベル付きデータを活用するために応用されている。 本稿では,ラベル効率のレンズを用いた自己教師型視覚表現学習について検討する。
  論文  参考訳（メタデータ） (2022-10-13T06:54:13Z)
• What You See is What You Classify: Black Box Attributions [61.998683569022006]
  我々は、トレーニング済みのブラックボックス分類器であるExpplanandumの属性を予測するために、ディープネットワークであるExplainerを訓練する。 既存のほとんどのアプローチとは異なり、我々の手法はクラス固有のマスクを直接生成することができる。 我々の属性は、視覚的および定量的に確立された方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-23T12:30:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。