論文の概要: Multi-Augmentation for Efficient Visual Representation Learning for Self-supervised Pre-training

• arxiv url: http://arxiv.org/abs/2205.11772v1
• Date: Tue, 24 May 2022 04:18:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-05-26 07:55:23.734139
• Title: Multi-Augmentation for Efficient Visual Representation Learning for Self-supervised Pre-training
• Title（参考訳）: 自己教師付き事前学習のための効率的な視覚表現学習のためのマルチオーグメンテーション
• Authors: Van-Nhiem Tran, Chi-En Huang, Shen-Hsuan Liu, Kai-Lin Yang, Timothy Ko, Yung-Hui Li
• Abstract要約: 本稿では、パイプライン全体を構築するための様々な拡張ポリシーを網羅的に検索する、自己改善学習のためのマルチ強化(MA-SSRL)を提案する。 MA-SSRLは不変の特徴表現をうまく学習し、自己教師付き事前学習のための効率的で効果的で適応可能なデータ拡張パイプラインを提供する。
• 参考スコア（独自算出の注目度）: 1.3733988835863333
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In recent years, self-supervised learning has been studied to deal with the limitation of available labeled-dataset. Among the major components of self-supervised learning, the data augmentation pipeline is one key factor in enhancing the resulting performance. However, most researchers manually designed the augmentation pipeline, and the limited collections of transformation may cause the lack of robustness of the learned feature representation. In this work, we proposed Multi-Augmentations for Self-Supervised Representation Learning (MA-SSRL), which fully searched for various augmentation policies to build the entire pipeline to improve the robustness of the learned feature representation. MA-SSRL successfully learns the invariant feature representation and presents an efficient, effective, and adaptable data augmentation pipeline for self-supervised pre-training on different distribution and domain datasets. MA-SSRL outperforms the previous state-of-the-art methods on transfer and semi-supervised benchmarks while requiring fewer training epochs.
• Abstract（参考訳）: 近年,ラベル付きデータセットの制限に対処するために,自己教師付き学習が研究されている。 自己教師型学習の主要なコンポーネントの1つは、データ拡張パイプラインが結果のパフォーマンス向上の鍵となる要素である。 しかし、ほとんどの研究者は手動で拡張パイプラインを設計し、限られた変換コレクションは学習された特徴表現の堅牢性の欠如を引き起こす可能性がある。 本研究では,学習した特徴表現のロバスト性を改善するために,パイプライン全体を構築するための様々な拡張ポリシーを網羅的に探索する,自己改善表現学習のためのマルチ拡張(MA-SSRL)を提案する。 MA-SSRLは不変の特徴表現をうまく学習し、異なる分布とドメインデータセットの自己教師付き事前トレーニングのための効率的で効果的で適応可能なデータ拡張パイプラインを提供する。 MA-SSRLは、トレーニングのエポックを少なくしながら、トランスファーと半教師付きベンチマークに関する従来の最先端の手法よりも優れている。

関連論文リスト

• Scaling DRL for Decision Making: A Survey on Data, Network, and Training Budget Strategies [66.83950068218033]
  スケーリング法則は、モデルのパラメータとトレーニングデータによって学習のパフォーマンスが向上することを示している。 性能向上の可能性にもかかわらず、スケーリング法則を深層強化学習に統合することは、完全には実現されていない。 本稿では,データ,ネットワーク,トレーニング予算という3次元のスケーリング戦略を体系的に分析することによって,このギャップに対処する。
  論文  参考訳（メタデータ） (2025-08-05T08:03:12Z)
• Diffusion Guidance Is a Controllable Policy Improvement Operator [98.11511661904618]
  CFGRLは教師付き学習の単純さで訓練されているが、データ内のポリシーをさらに改善することができる。 オフラインのRLタスクでは、信頼性の高いトレンドが観察されます -- ガイダンスの重み付けの増加によって、パフォーマンスが向上します。
  論文  参考訳（メタデータ） (2025-05-29T14:06:50Z)
• Enhancing Training Data Attribution with Representational Optimization [57.61977909113113]
  トレーニングデータ属性法は、トレーニングデータがモデルの予測にどのように影響するかを測定することを目的としている。 本稿では,タスク固有表現とモデル整合表現をTDAで明示的に学習することで,このギャップを埋める表現ベースアプローチであるAirRepを提案する。 AirRepは、属性品質に合わせて調整されたトレーニング可能なエンコーダと、グループワイドの影響を正確に見積もるアテンションベースのプール機構の2つの重要なイノベーションを紹介している。
  論文  参考訳（メタデータ） (2025-05-24T05:17:53Z)
• SimMIL: A Universal Weakly Supervised Pre-Training Framework for Multi-Instance Learning in Whole Slide Pathology Images [12.827931905880163]
  本稿では,弱教師付きスキームを用いたMIL機能抽出器を提案する。 MILの効果的な特徴を学習するために、強いデータ拡張、非線形予測ヘッド、ロバストな損失関数など、いくつかの重要なコンポーネントを探索する。 我々は、一般的な大規模WSIデータセットで実験を行い、他の事前学習方式よりも優れた性能が得られることを発見した。
  論文  参考訳（メタデータ） (2025-05-10T17:23:36Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  モデルサイズ,トレーニングデータスケール,推論時間計算が生成的検索性能にどのように影響するかを検討する。 実験の結果,n-gram-based method はトレーニング法と推論法の両方と強く一致していることがわかった。 LLaMAモデルはT5モデルより一貫して優れており、生成検索におけるデコーダのみの大きなモデルに対して特に有利であることが示唆された。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• Learning Semantic Proxies from Visual Prompts for Parameter-Efficient Fine-Tuning in Deep Metric Learning [13.964106147449051]
  既存のソリューションは、既存の画像データセット上でトレーニング済みのモデルを微調整することに集中している。 我々は、事前学習された視覚変換器(ViT)における視覚プロンプト(VPT)の学習に基づく、新しい効果的なフレームワークを提案する。 セマンティック情報を用いた新しい近似が代表的能力よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-04T04:42:05Z)
• MIND: Multi-Task Incremental Network Distillation [45.74830585715129]
  本研究では,リプレイフリーソリューションの性能向上を目的としたパラメータ分離手法 MIND を提案する。 以上の結果から,MINDの優れた性能は,クラス増分学習やドメイン増分学習によってもたらされる課題に対処する可能性を示している。
  論文  参考訳（メタデータ） (2023-12-05T17:46:52Z)
• Self-supervised Representation Learning From Random Data Projectors [13.764897214965766]
  本稿では,任意のデータモダリティとネットワークアーキテクチャに適用可能なSSRL手法を提案する。 ランダムなデータプロジェクションを再構築することで,高品質なデータ表現が学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-11T18:00:01Z)
• Task Aware Modulation using Representation Learning: An Approach for Few Shot Learning in Environmental Systems [15.40286222692196]
  TAM-RLは異種システムにおける少数ショット学習のための新しいフレームワークである。 2つの実環境データセット上でのTAM-RLの評価を行った。
  論文  参考訳（メタデータ） (2023-10-07T07:55:22Z)
• In-Domain Self-Supervised Learning Improves Remote Sensing Image Scene Classification [5.323049242720532]
  リモートセンシング画像分類のための有望なアプローチとして,自己教師付き学習が登場している。 そこで本研究では,14の下流データセットにまたがる自己教師型事前学習戦略について検討し,その効果を評価する。
  論文  参考訳（メタデータ） (2023-07-04T10:57:52Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• An Empirical Study on Distribution Shift Robustness From the Perspective of Pre-Training and Data Augmentation [91.62129090006745]
  本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。 我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
  論文  参考訳（メタデータ） (2022-05-25T13:04:53Z)
• APS: Active Pretraining with Successor Features [96.24533716878055]
  非エントロピーと後継指標であるHansenFastを再解釈して組み合わせることで、難解な相互情報を効率的に最適化できることを示す。 提案手法は,非エントロピーを用いて環境を探索し,探索したデータを効率的に活用して動作を学習する。
  論文  参考訳（メタデータ） (2021-08-31T16:30:35Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。