論文の概要: SLACK: Stable Learning of Augmentations with Cold-start and KL regularization

• arxiv url: http://arxiv.org/abs/2306.09998v1
• Date: Fri, 16 Jun 2023 17:51:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 12:43:27.964977
• Title: SLACK: Stable Learning of Augmentations with Cold-start and KL regularization
• Title（参考訳）: SLACK: コールドスタートとKL正規化による拡張の安定学習
• Authors: Juliette Marrie, Michael Arbel, Diane Larlus, Julien Mairal
• Abstract要約: 我々は,事前知識を活用せずに拡張政策を学習することを提案する。 結果として生じる二値最適化問題は、より広い探索空間と二値最適化アルゴリズムの固有の不安定性により、より困難になる。 我々のアプローチは、より困難な設定にもかかわらず、標準ベンチマーク上での競合結果をもたらし、自然画像を超えて一般化する。
• 参考スコア（独自算出の注目度）: 47.948446737358566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation is known to improve the generalization capabilities of neural networks, provided that the set of transformations is chosen with care, a selection often performed manually. Automatic data augmentation aims at automating this process. However, most recent approaches still rely on some prior information; they start from a small pool of manually-selected default transformations that are either used to pretrain the network or forced to be part of the policy learned by the automatic data augmentation algorithm. In this paper, we propose to directly learn the augmentation policy without leveraging such prior knowledge. The resulting bilevel optimization problem becomes more challenging due to the larger search space and the inherent instability of bilevel optimization algorithms. To mitigate these issues (i) we follow a successive cold-start strategy with a Kullback-Leibler regularization, and (ii) we parameterize magnitudes as continuous distributions. Our approach leads to competitive results on standard benchmarks despite a more challenging setting, and generalizes beyond natural images.
• Abstract（参考訳）: データ拡張は、ニューラルネットワークの一般化能力を向上させることで知られ、変換のセットが注意によって選択され、選択はしばしば手動で行われる。 自動データ拡張は、このプロセスを自動化することを目的としている。 ネットワークの事前トレーニングに使用されるか、あるいは自動データ拡張アルゴリズムによって学習されたポリシの一部に強制される、手動で選択されたデフォルト変換の小さなプールから始まります。 本稿では,このような事前知識を生かさずに拡張方針を直接学習することを提案する。 結果として生じる二値最適化問題は、より広い探索空間と二値最適化アルゴリズムの固有の不安定性のためにより困難になる。 これらの問題を緩和するために i)Kullback-Leibler正規化による連続的なコールドスタート戦略に従い、 (ii)連続分布として等級をパラメータ化する。 我々のアプローチは、より困難な設定にもかかわらず、標準ベンチマークの競争結果をもたらし、自然画像を超えて一般化する。

関連論文リスト

• Transfer Learning in $\ell_1$ Regularized Regression: Hyperparameter Selection Strategy based on Sharp Asymptotic Analysis [4.178980693837599]
  転送学習技術は、複数の関連するデータセットからの情報を活用し、ターゲットデータセットに対する予測品質を向上させることを目的としている。 トランス・ラッソ(Trans-Lasso)とプレトレーニング・ラッソ(Pretraining Lasso)である。 レプリカ法を用いて解析することにより,高次元環境下でのアルゴリズムの徹底的,精密な研究を行う。 微調整段階に転送される2種類の情報の1つを無視することは、一般化性能にはほとんど影響しない。
  論文  参考訳（メタデータ） (2024-09-26T10:20:59Z)
• Equivariant Data Augmentation for Generalization in Offline Reinforcement Learning [10.00979536266327]
  オフライン強化学習(RL)における一般化の課題に対処する新しいアプローチを提案する。 具体的には,エージェントのアウト・オブ・ディストリビューション目標への一般化能力の向上を目指す。 我々は、オフラインのオフラインRLアルゴリズムを用いて、拡張データセットに基づいて新しいポリシーをオフラインで学習する。
  論文  参考訳（メタデータ） (2023-09-14T10:22:33Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• Deep invariant networks with differentiable augmentation layers [87.22033101185201]
  データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。 我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
  論文  参考訳（メタデータ） (2022-02-04T14:12:31Z)
• Stabilizing Deep Q-Learning with ConvNets and Vision Transformers under Data Augmentation [25.493902939111265]
  オフ・ポリティクス強化学習アルゴリズムにおけるデータ強化における不安定性の原因について検討する。 本稿では,このアルゴリズムを拡張の下で安定化するための,シンプルで効果的な手法を提案する。 本手法は,画像ベースRLの最先端手法と競合し,ConvNetの安定性とサンプル効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-07-01T17:58:05Z)
• CADDA: Class-wise Automatic Differentiable Data Augmentation for EEG Signals [92.60744099084157]
  本研究では、勾配に基づく学習に適した微分可能データ拡張を提案する。 本研究は,臨床関連睡眠ステージ分類課題におけるアプローチの意義を示す。
  論文  参考訳（メタデータ） (2021-06-25T15:28:48Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。