論文の概要: Adversarial Auto-Augment with Label Preservation: A Representation
Learning Principle Guided Approach
- arxiv url: http://arxiv.org/abs/2211.00824v1
- Date: Wed, 2 Nov 2022 02:02:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-03 12:35:28.342681
- Title: Adversarial Auto-Augment with Label Preservation: A Representation
Learning Principle Guided Approach
- Title（参考訳）: ラベル保存による対向的自己拡張:表現学習原則に基づくアプローチ
- Authors: Kaiwen Yang, Yanchao Sun, Jiahao Su, Fengxiang He, Xinmei Tian, Furong
Huang, Tianyi Zhou, Dacheng Tao
- Abstract要約: 本研究では,事前自由な自律的データ拡張の目的が表現学習の原則から導出可能であることを示す。
そこで我々は,既存の手法にシームレスに最適化し,シームレスに統合できる目的に対して,実用的なサロゲートを提案する。
- 参考スコア（独自算出の注目度）: 95.74102207187545
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data augmentation is a critical contributing factor to the success of deep
learning but heavily relies on prior domain knowledge which is not always
available. Recent works on automatic data augmentation learn a policy to form a
sequence of augmentation operations, which are still pre-defined and restricted
to limited options. In this paper, we show that a prior-free autonomous data
augmentation's objective can be derived from a representation learning
principle that aims to preserve the minimum sufficient information of the
labels. Given an example, the objective aims at creating a distant "hard
positive example" as the augmentation, while still preserving the original
label. We then propose a practical surrogate to the objective that can be
optimized efficiently and integrated seamlessly into existing methods for a
broad class of machine learning tasks, e.g., supervised, semi-supervised, and
noisy-label learning. Unlike previous works, our method does not require
training an extra generative model but instead leverages the intermediate layer
representations of the end-task model for generating data augmentations. In
experiments, we show that our method consistently brings non-trivial
improvements to the three aforementioned learning tasks from both efficiency
and final performance, either or not combined with strong pre-defined
augmentations, e.g., on medical images when domain knowledge is unavailable and
the existing augmentation techniques perform poorly. Code is available at:
https://github.com/kai-wen-yang/LPA3}{https://github.com/kai-wen-yang/LPA3.
- Abstract（参考訳）: データ拡張はディープラーニングの成功に重要な要因であるが、常に利用できるとは限らない事前のドメイン知識に大きく依存している。
自動データ拡張に関する最近の研究は、まだ事前定義され限られた選択肢に限定されている拡張操作のシーケンスを形成するためのポリシーを学ぶ。
本稿では,ラベルの最小限の情報を保存することを目的とした表現学習原則から,事前自由な自律データ拡張の目的を導出できることを示す。
例を挙げると、目標は、元のラベルを維持しながら、拡張として遠く離れた「ハード・ポジティブな例」を作ることである。
そこで我々は,機械学習タスクの幅広いクラス,例えば教師付き,半教師付き,雑音付きラベル学習において,効率よく最適化され,シームレスに既存の手法に統合できる目的に対する実践的なサロゲートを提案する。
従来の作業とは異なり、この方法は生成モデルのトレーニングを必要とせず、データ拡張を生成するためにエンドタスクモデルの中間層表現を利用する。
実験では, ドメイン知識が得られず, 既存の拡張技術が不十分な場合の医用画像において, 上記の3つの学習課題を, 効率と最終性能の両面から一貫した非自明な改善をもたらすことを示す。
コードは以下の通り。 https://github.com/kai-wen-yang/LPA3}{https://github.com/kai-wen-yang/LPA3。
関連論文リスト
- Leveraging Skills from Unlabeled Prior Data for Efficient Online Exploration [54.8229698058649]
本研究では,未ラベルの事前軌跡データを用いて効率的な探索戦略を学習する方法について検討する。
我々の手法 SUPE (Skills from Unlabeled Prior Data for Exploration) は、これらのアイデアの慎重な組み合わせがそれらの利点を兼ね備えていることを示す。
実験により,SUPEが従来の戦略を確実に上回り,長い水平・スパース・リワードタスクの一組の解決に成功したことを実証的に示す。
論文 参考訳（メタデータ） (2024-10-23T17:58:45Z) - Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。
ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。
具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
論文 参考訳（メタデータ） (2024-03-24T12:41:58Z) - Towards Label-Efficient Incremental Learning: A Survey [42.603603392991715]
本研究では,学習者が様々な分布を持つデータストリームに適応するために,インクリメンタル学習を学習する。
ラベル付け作業を減らすために, セミショット, 数ショット, 自己教師型学習の3つの区分を同定した。
論文 参考訳（メタデータ） (2023-02-01T10:24:55Z) - Learning and Retrieval from Prior Data for Skill-based Imitation
Learning [47.59794569496233]
従来のデータから時間的に拡張された感触者スキルを抽出する,スキルベースの模倣学習フレームワークを開発した。
新規タスクの性能を著しく向上させる重要な設計選択をいくつか挙げる。
論文 参考訳（メタデータ） (2022-10-20T17:34:59Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2022-09-30T02:25:12Z) - Contrastive Learning for Cross-Domain Open World Recognition [17.660958043781154]
進化する能力は、知識が製造者によって注入されるものに限定されない貴重な自律エージェントにとって基本的なものである。
新しいクラスをインクリメンタルに含めるのに適した機能空間を学習し、様々な視覚領域にまたがる知識を捉えることができることを示す。
本手法は,学習エピソードごとの効果的な停止基準を付与し,新たな自己ペースしきい値設定戦略を活用する。
論文 参考訳（メタデータ） (2022-03-17T11:23:53Z) - TrivialAugment: Tuning-free Yet State-of-the-Art Data Augmentation [39.94053999359753]
我々は、最も単純な自動増分ベースラインであるTrivialAugmentを提示します。
私たちにとって、TrivialAugmentの有効性は非常に予想外です。
我々は,自動拡張手法の継続的な進歩のためのベストプラクティスを提案する。
論文 参考訳（メタデータ） (2021-03-18T10:48:02Z) - ProtoDA: Efficient Transfer Learning for Few-Shot Intent Classification [21.933876113300897]
我々は,メタラーニングパラダイムの下で,原型ネットワークを用いた関連するタスクのアンサンブル上での伝達学習による代替的アプローチを採用する。
本研究は,意図分類を事例として,学習課題における多様性の増大が,分類性能を著しく向上させることを示した。
論文 参考訳（メタデータ） (2021-01-28T00:19:13Z) - Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。
RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
論文 参考訳（メタデータ） (2020-11-19T18:47:40Z) - Incremental Object Detection via Meta-Learning [77.55310507917012]
本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。
既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
論文 参考訳（メタデータ） (2020-03-17T13:40:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。