論文の概要: MetaMask: Revisiting Dimensional Confounder for Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2209.07902v1
- Date: Fri, 16 Sep 2022 12:54:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-19 12:06:20.329766
- Title: MetaMask: Revisiting Dimensional Confounder for Self-Supervised Learning
- Title（参考訳）: MetaMask: 自己監督学習のための次元的共同創設者の再考
- Authors: Jiangmeng Li, Wenwen Qiang, Yanan Zhang, Wenyi Mo, Changwen Zheng,
Bing Su, Hui Xiong
- Abstract要約: この現象の背後にある本質的な問題として,次元冗長性と次元共創者が発見され,我々の視点を支える実験的証拠が得られた。
メタ学習によって学習された次元マスクを略してメタマスクを用いて, 次元冗長性に対する表現を学習し, 共同設立する手法を提案する。
- 参考スコア（独自算出の注目度）: 26.86990235162117
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a successful approach to self-supervised learning, contrastive learning
aims to learn invariant information shared among distortions of the input
sample. While contrastive learning has yielded continuous advancements in
sampling strategy and architecture design, it still remains two persistent
defects: the interference of task-irrelevant information and sample
inefficiency, which are related to the recurring existence of trivial constant
solutions. From the perspective of dimensional analysis, we find out that the
dimensional redundancy and dimensional confounder are the intrinsic issues
behind the phenomena, and provide experimental evidence to support our
viewpoint. We further propose a simple yet effective approach MetaMask, short
for the dimensional Mask learned by Meta-learning, to learn representations
against dimensional redundancy and confounder. MetaMask adopts the
redundancy-reduction technique to tackle the dimensional redundancy issue and
innovatively introduces a dimensional mask to reduce the gradient effects of
specific dimensions containing the confounder, which is trained by employing a
meta-learning paradigm with the objective of improving the performance of
masked representations on a typical self-supervised task. We provide solid
theoretical analyses to prove MetaMask can obtain tighter risk bounds for
downstream classification compared to typical contrastive methods. Empirically,
our method achieves state-of-the-art performance on various benchmarks.
- Abstract（参考訳）: 自己教師あり学習のアプローチとして、コントラスト学習は、入力サンプルの歪み間で共有される不変情報を学習することを目的としている。
対照的な学習は、サンプリング戦略とアーキテクチャ設計において継続的な進歩をもたらしてきたが、タスク関連情報の干渉とサンプルの非効率性の2つの持続的な欠陥は、自明な定数解の存在に関係している。
次元解析の観点からは,次元冗長性と次元共創者が現象の背後にある本質的な問題であることが分かり,我々の視点を支える実験的証拠を提供する。
さらに,メタ学習によって学習された次元マスクを省略して,次元冗長性に対する表現を学習するメタマスクを提案する。
メタマスクは, 次元冗長性問題に対処するために冗長性低減技術を採用し, 典型的な自己監督タスクにおけるマスク表現の性能向上を目的としたメタラーニングパラダイムを用いて訓練した, 共同創設者を含む特定の次元の勾配効果を低減するために, 次元マスクを革新的に導入する。
我々は,MetaMaskが典型的コントラスト法と比較して,下流分類の厳密なリスク境界が得られることを示すための理論解析を行った。
提案手法は,様々なベンチマークにおける最先端性能を実証的に達成する。
関連論文リスト
- Unlearning Backdoor Attacks through Gradient-Based Model Pruning [10.801476967873173]
本研究では,その軽減を未学習課題として扱うことによって,バックドア攻撃に対抗する新しい手法を提案する。
このアプローチは単純さと有効性を提供し、データ可用性に制限のあるシナリオに適しています。
論文 参考訳（メタデータ） (2024-05-07T00:36:56Z) - Masked Two-channel Decoupling Framework for Incomplete Multi-view Weak Multi-label Learning [21.49630640829186]
本稿では,不完全な多視点弱多言語学習における複雑かつ現実的な課題に焦点をあてる。
本稿では,この問題を解決するために,ディープニューラルネットワークに基づくマスク付き2チャネルデカップリングフレームワークを提案する。
我々のモデルは任意のビューやラベルの欠如に完全に適応でき、また理想的な全データでもうまく機能する。
論文 参考訳（メタデータ） (2024-04-26T11:39:50Z) - Masked Modeling for Self-supervised Representation Learning on Vision
and Beyond [69.64364187449773]
仮面モデリングは、トレーニング中に比例的にマスキングされる元のデータの一部を予測する、独特なアプローチとして現れてきた。
マスクモデリングにおけるテクニックの詳細については,多様なマスキング戦略,ターゲット回復,ネットワークアーキテクチャなどについて詳述する。
我々は、現在の手法の限界について議論し、マスクモデリング研究を進めるためのいくつかの道のりを指摘した。
論文 参考訳（メタデータ） (2023-12-31T12:03:21Z) - Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。
そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
論文 参考訳（メタデータ） (2023-10-03T12:08:15Z) - Understanding Masked Autoencoders via Hierarchical Latent Variable
Models [109.35382136147349]
Masked Autoencoder (MAE) は近年,様々な視覚タスクにおいて顕著な成功を収めている。
MAEに関する興味深い経験的観察の出現にもかかわらず、理論的に原理化された理解はいまだに欠如している。
論文 参考訳（メタデータ） (2023-06-08T03:00:10Z) - Single-round Self-supervised Distributed Learning using Vision
Transformer [34.76985278888513]
視覚変換器の自己監督型マスクサンプリング蒸留法を提案する。
この方法は、連続的な通信なしに実装でき、ビジョントランスフォーマー固有の暗号化技術を利用することで、プライバシーを高めることができる。
論文 参考訳（メタデータ） (2023-01-05T13:47:36Z) - Learning Transferable Adversarial Robust Representations via Multi-view
Consistency [57.73073964318167]
デュアルエンコーダを用いたメタ逆多視点表現学習フレームワークを提案する。
未確認領域からの少数ショット学習タスクにおけるフレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2022-10-19T11:48:01Z) - MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。
我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。
このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文 参考訳（メタデータ） (2021-06-29T12:52:26Z) - A Hamiltonian Monte Carlo Method for Probabilistic Adversarial Attack
and Learning [122.49765136434353]
本稿では,HMCAM (Acumulated Momentum) を用いたハミルトニアンモンテカルロ法を提案する。
また, 対数的対数的対数的学習(Contrastive Adversarial Training, CAT)と呼ばれる新たな生成法を提案し, 対数的例の平衡分布にアプローチする。
いくつかの自然画像データセットと実用システムに関する定量的および定性的な解析により、提案アルゴリズムの優位性が確認された。
論文 参考訳（メタデータ） (2020-10-15T16:07:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。