論文の概要: MetAug: Contrastive Learning via Meta Feature Augmentation
- arxiv url: http://arxiv.org/abs/2203.05119v4
- Date: Wed, 9 Aug 2023 14:56:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 18:40:52.889503
- Title: MetAug: Contrastive Learning via Meta Feature Augmentation
- Title（参考訳）: MetAug: メタ機能拡張によるコントラスト学習
- Authors: Jiangmeng Li, Wenwen Qiang, Changwen Zheng, Bing Su, Hui Xiong
- Abstract要約: 対照的な学習は、情報的特徴、すなわち「堅い」(肯定的または否定的な)特徴に大きく依存している、と我々は主張する。
このような特徴を探索する上で重要な課題は、ランダムなデータ拡張を適用することで、ソースのマルチビューデータを生成することである。
本稿では,潜在空間における特徴を直接拡張し,大量の入力データなしで識別表現を学習することを提案する。
- 参考スコア（独自算出の注目度）: 28.708395209321846
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: What matters for contrastive learning? We argue that contrastive learning
heavily relies on informative features, or "hard" (positive or negative)
features. Early works include more informative features by applying complex
data augmentations and large batch size or memory bank, and recent works design
elaborate sampling approaches to explore informative features. The key
challenge toward exploring such features is that the source multi-view data is
generated by applying random data augmentations, making it infeasible to always
add useful information in the augmented data. Consequently, the informativeness
of features learned from such augmented data is limited. In response, we
propose to directly augment the features in latent space, thereby learning
discriminative representations without a large amount of input data. We perform
a meta learning technique to build the augmentation generator that updates its
network parameters by considering the performance of the encoder. However,
insufficient input data may lead the encoder to learn collapsed features and
therefore malfunction the augmentation generator. A new margin-injected
regularization is further added in the objective function to avoid the encoder
learning a degenerate mapping. To contrast all features in one gradient
back-propagation step, we adopt the proposed optimization-driven unified
contrastive loss instead of the conventional contrastive loss. Empirically, our
method achieves state-of-the-art results on several benchmark datasets.
- Abstract（参考訳）: 対照的な学習とは何か?
対照的な学習は情報的特徴、すなわち「堅い」(正または負の)特徴に大きく依存していると我々は主張する。
初期の作品には、複雑なデータ拡張と大規模なバッチサイズやメモリバンクを適用することで、より有益な機能が含まれている。
このような特徴を探求する上での鍵となる課題は、ランダムなデータ拡張を適用することで、ソースのマルチビューデータが生成されることである。
これにより、このような拡張データから得られた特徴の情報性が制限される。
そこで本研究では,潜在空間における特徴を直接拡張し,大量の入力データなしで識別表現を学習することを提案する。
我々は,エンコーダの性能を考慮し,そのネットワークパラメータを更新する拡張ジェネレータを構築するメタ学習手法を実行する。
しかし、入力データが不十分なため、エンコーダは崩壊した特徴を学習し、拡張生成器を誤動作させる可能性がある。
退化写像を学習するエンコーダを避けるため、目的関数に新たなマージンインジェクション正規化が追加される。
1つの勾配バックプロパゲーションステップで全ての特徴を対比するために、従来のコントラスト損失ではなく最適化駆動型統一コントラスト損失を採用する。
本手法は,いくつかのベンチマークデータセットにおいて最先端の結果を得る。
関連論文リスト
- Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。
注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
論文 参考訳（メタデータ） (2024-09-20T07:41:47Z) - Implicit Counterfactual Data Augmentation for Robust Learning [24.795542869249154]
本研究では, 突発的相関を除去し, 安定した予測を行うために, インプリシト・カウンセショナル・データ拡張法を提案する。
画像とテキストのデータセットをカバーする様々なバイアス付き学習シナリオで実験が行われてきた。
論文 参考訳（メタデータ） (2023-04-26T10:36:40Z) - Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。
対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。
本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
論文 参考訳（メタデータ） (2023-03-21T15:02:50Z) - Feature Dropout: Revisiting the Role of Augmentations in Contrastive
Learning [7.6834562879925885]
最近の研究は、良い改善が特定の下流タスクに関してラベル保存であることを示唆している。
基礎モデル設定においてラベルのデストロイヤー化が有用であることを示す。
論文 参考訳（メタデータ） (2022-12-16T10:08:38Z) - Joint Data and Feature Augmentation for Self-Supervised Representation
Learning on Point Clouds [4.723757543677507]
ユークリッド空間におけるデータ拡張と特徴空間における特徴拡張を組み合わせた融合コントラスト学習フレームワークを提案する。
提案手法の伝達性を検証するため,広範囲な対象分類実験と対象部分分割実験を行う。
実験の結果,提案フレームワークは,自己指導型でポイントクラウド表現を学習する上で有効であることが示された。
論文 参考訳（メタデータ） (2022-11-02T14:58:03Z) - Adversarial Auto-Augment with Label Preservation: A Representation
Learning Principle Guided Approach [95.74102207187545]
本研究では,事前自由な自律的データ拡張の目的が表現学習の原則から導出可能であることを示す。
そこで我々は,既存の手法にシームレスに最適化し,シームレスに統合できる目的に対して,実用的なサロゲートを提案する。
論文 参考訳（メタデータ） (2022-11-02T02:02:51Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳（メタデータ） (2022-02-22T02:51:11Z) - Adaptive Online Incremental Learning for Evolving Data Streams [4.3386084277869505]
最初の大きな困難はコンセプトドリフトであり、つまり、ストリーミングデータの確率分布はデータが到着するにつれて変化する。
第二の難しさは、破滅的な忘れ、すなわち、新しい知識を学ぶ前に学んだことを忘れることです。
我々の研究はこの観察に基づいており、これらの困難を克服しようと試みている。
論文 参考訳（メタデータ） (2022-01-05T14:25:53Z) - CADDA: Class-wise Automatic Differentiable Data Augmentation for EEG
Signals [92.60744099084157]
本研究では、勾配に基づく学習に適した微分可能データ拡張を提案する。
本研究は,臨床関連睡眠ステージ分類課題におけるアプローチの意義を示す。
論文 参考訳（メタデータ） (2021-06-25T15:28:48Z) - Representation Learning for Sequence Data with Deep Autoencoding
Predictive Components [96.42805872177067]
本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。
我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。
提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
論文 参考訳（メタデータ） (2020-10-07T03:34:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。