論文の概要: Multi-Augmentation for Efficient Visual Representation Learning for
Self-supervised Pre-training
- arxiv url: http://arxiv.org/abs/2205.11772v1
- Date: Tue, 24 May 2022 04:18:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-05-26 07:55:23.734139
- Title: Multi-Augmentation for Efficient Visual Representation Learning for
Self-supervised Pre-training
- Title（参考訳）: 自己教師付き事前学習のための効率的な視覚表現学習のためのマルチオーグメンテーション
- Authors: Van-Nhiem Tran, Chi-En Huang, Shen-Hsuan Liu, Kai-Lin Yang, Timothy
Ko, Yung-Hui Li
- Abstract要約: 本稿では、パイプライン全体を構築するための様々な拡張ポリシーを網羅的に検索する、自己改善学習のためのマルチ強化(MA-SSRL)を提案する。
MA-SSRLは不変の特徴表現をうまく学習し、自己教師付き事前学習のための効率的で効果的で適応可能なデータ拡張パイプラインを提供する。
- 参考スコア（独自算出の注目度）: 1.3733988835863333
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In recent years, self-supervised learning has been studied to deal with the
limitation of available labeled-dataset. Among the major components of
self-supervised learning, the data augmentation pipeline is one key factor in
enhancing the resulting performance. However, most researchers manually
designed the augmentation pipeline, and the limited collections of
transformation may cause the lack of robustness of the learned feature
representation. In this work, we proposed Multi-Augmentations for
Self-Supervised Representation Learning (MA-SSRL), which fully searched for
various augmentation policies to build the entire pipeline to improve the
robustness of the learned feature representation. MA-SSRL successfully learns
the invariant feature representation and presents an efficient, effective, and
adaptable data augmentation pipeline for self-supervised pre-training on
different distribution and domain datasets. MA-SSRL outperforms the previous
state-of-the-art methods on transfer and semi-supervised benchmarks while
requiring fewer training epochs.
- Abstract（参考訳）: 近年,ラベル付きデータセットの制限に対処するために,自己教師付き学習が研究されている。
自己教師型学習の主要なコンポーネントの1つは、データ拡張パイプラインが結果のパフォーマンス向上の鍵となる要素である。
しかし、ほとんどの研究者は手動で拡張パイプラインを設計し、限られた変換コレクションは学習された特徴表現の堅牢性の欠如を引き起こす可能性がある。
本研究では,学習した特徴表現のロバスト性を改善するために,パイプライン全体を構築するための様々な拡張ポリシーを網羅的に探索する,自己改善表現学習のためのマルチ拡張(MA-SSRL)を提案する。
MA-SSRLは不変の特徴表現をうまく学習し、異なる分布とドメインデータセットの自己教師付き事前トレーニングのための効率的で効果的で適応可能なデータ拡張パイプラインを提供する。
MA-SSRLは、トレーニングのエポックを少なくしながら、トランスファーと半教師付きベンチマークに関する従来の最先端の手法よりも優れている。
関連論文リスト
- Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
モデルサイズ,トレーニングデータスケール,推論時間計算が生成的検索性能にどのように影響するかを検討する。
実験の結果,n-gram-based method はトレーニング法と推論法の両方と強く一致していることがわかった。
LLaMAモデルはT5モデルより一貫して優れており、生成検索におけるデコーダのみの大きなモデルに対して特に有利であることが示唆された。
論文 参考訳（メタデータ） (2025-03-24T17:59:03Z) - DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。
ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。
ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
論文 参考訳（メタデータ） (2024-05-22T15:52:52Z) - Learning Semantic Proxies from Visual Prompts for Parameter-Efficient Fine-Tuning in Deep Metric Learning [13.964106147449051]
既存のソリューションは、既存の画像データセット上でトレーニング済みのモデルを微調整することに集中している。
我々は、事前学習された視覚変換器(ViT)における視覚プロンプト(VPT)の学習に基づく、新しい効果的なフレームワークを提案する。
セマンティック情報を用いた新しい近似が代表的能力よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-02-04T04:42:05Z) - MIND: Multi-Task Incremental Network Distillation [45.74830585715129]
本研究では,リプレイフリーソリューションの性能向上を目的としたパラメータ分離手法 MIND を提案する。
以上の結果から,MINDの優れた性能は,クラス増分学習やドメイン増分学習によってもたらされる課題に対処する可能性を示している。
論文 参考訳（メタデータ） (2023-12-05T17:46:52Z) - Self-supervised Representation Learning From Random Data Projectors [13.764897214965766]
本稿では,任意のデータモダリティとネットワークアーキテクチャに適用可能なSSRL手法を提案する。
ランダムなデータプロジェクションを再構築することで,高品質なデータ表現が学習可能であることを示す。
論文 参考訳（メタデータ） (2023-10-11T18:00:01Z) - Task Aware Modulation using Representation Learning: An Approach for Few Shot Learning in Environmental Systems [15.40286222692196]
TAM-RLは異種システムにおける少数ショット学習のための新しいフレームワークである。
2つの実環境データセット上でのTAM-RLの評価を行った。
論文 参考訳（メタデータ） (2023-10-07T07:55:22Z) - In-Domain Self-Supervised Learning Improves Remote Sensing Image Scene
Classification [5.323049242720532]
リモートセンシング画像分類のための有望なアプローチとして,自己教師付き学習が登場している。
そこで本研究では,14の下流データセットにまたがる自己教師型事前学習戦略について検討し,その効果を評価する。
論文 参考訳（メタデータ） (2023-07-04T10:57:52Z) - ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。
ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。
ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-16T21:51:04Z) - An Empirical Study on Distribution Shift Robustness From the Perspective
of Pre-Training and Data Augmentation [91.62129090006745]
本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。
我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
論文 参考訳（メタデータ） (2022-05-25T13:04:53Z) - APS: Active Pretraining with Successor Features [96.24533716878055]
非エントロピーと後継指標であるHansenFastを再解釈して組み合わせることで、難解な相互情報を効率的に最適化できることを示す。
提案手法は,非エントロピーを用いて環境を探索し,探索したデータを効率的に活用して動作を学習する。
論文 参考訳（メタデータ） (2021-08-31T16:30:35Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z) - Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。
PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。
PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
論文 参考訳（メタデータ） (2020-05-11T09:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。