Fugu-MT 論文翻訳(概要): SAFLEX: Self-Adaptive Augmentation via Feature Label Extrapolation

論文の概要: SAFLEX: Self-Adaptive Augmentation via Feature Label Extrapolation

arxiv url: http://arxiv.org/abs/2410.02512v1
Date: Thu, 3 Oct 2024 14:21:49 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 02:51:33.650590
Title: SAFLEX: Self-Adaptive Augmentation via Feature Label Extrapolation
Title（参考訳）: SAFLEX: 特徴ラベル外挿による自己適応的拡張
Authors: Mucong Ding, Bang An, Yuancheng Xu, Anirudh Satheesh, Furong Huang,
Abstract要約: 本稿では,既存の拡張戦略と新たなデータセットと学習タスクのギャップを効果的に埋める,データ拡張のための新しい効率的な方法を提案する。我々の発見は、既存の拡張パイプラインを新しいデータタイプとタスクに適用する可能性を強調し、より適応性がありレジリエントなトレーニングフレームワークへの移行を示唆している。
参考スコア（独自算出の注目度）: 29.598247232905283
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Data augmentation, a cornerstone technique in deep learning, is crucial in enhancing model performance, especially with scarce labeled data. While traditional techniques are effective, their reliance on hand-crafted methods limits their applicability across diverse data types and tasks. Although modern learnable augmentation methods offer increased adaptability, they are computationally expensive and challenging to incorporate within prevalent augmentation workflows. In this work, we present a novel, efficient method for data augmentation, effectively bridging the gap between existing augmentation strategies and emerging datasets and learning tasks. We introduce SAFLEX (Self-Adaptive Augmentation via Feature Label EXtrapolation), which learns the sample weights and soft labels of augmented samples provided by any given upstream augmentation pipeline, using a specifically designed efficient bilevel optimization algorithm. Remarkably, SAFLEX effectively reduces the noise and label errors of the upstream augmentation pipeline with a marginal computational cost. As a versatile module, SAFLEX excels across diverse datasets, including natural and medical images and tabular data, showcasing its prowess in few-shot learning and out-of-distribution generalization. SAFLEX seamlessly integrates with common augmentation strategies like RandAug, CutMix, and those from large pre-trained generative models like stable diffusion and is also compatible with frameworks such as CLIP's fine-tuning. Our findings highlight the potential to adapt existing augmentation pipelines for new data types and tasks, signaling a move towards more adaptable and resilient training frameworks.
Abstract（参考訳）: 深層学習の基盤となるデータ拡張は,特にラベル付きデータが少ないモデルの性能向上に不可欠である。従来のテクニックは効果的だが、手作りのメソッドへの依存は、さまざまなデータタイプやタスクにまたがる適用性を制限している。現代の学習可能な拡張手法は適応性の向上を提供するが、計算コストが高く、一般的な拡張ワークフローに組み込むのは難しい。本研究では,既存の拡張戦略と新たなデータセットと学習タスクのギャップを効果的に埋める,データ拡張のための新しい効率的な方法を提案する。 SFLEX (Self-Adaptive Augmentation via Feature Label Extrapolation) では,任意のアップストリーム拡張パイプラインによって提供されるサンプルの標本重量と軟質ラベルを,特に設計された2段階最適化アルゴリズムを用いて学習する。注目すべきは、SAFLEXはアップストリーム拡張パイプラインのノイズとラベルエラーを、限界計算コストで効果的に低減することである。汎用モジュールとして、SAFLEXは、自然および医学的な画像や表データを含むさまざまなデータセットを網羅し、数ショットの学習とアウト・オブ・ディストリビューションの一般化におけるその長所を誇示している。 SAFLEXはRandAugやCutMixといった一般的な拡張戦略とシームレスに統合され、安定した拡散のようなトレーニング済みの大規模な生成モデルからのもので、CLIPの微調整のようなフレームワークとも互換性がある。我々の発見は、既存の拡張パイプラインを新しいデータタイプとタスクに適用する可能性を強調し、より適応性がありレジリエントなトレーニングフレームワークへの移行を示唆している。

関連論文リスト

Adaptive Data Optimization: Dynamic Sample Selection with Scaling Laws [59.03420759554073]
本稿では,オンライン手法でデータ分散を最適化するアルゴリズムであるAdaptive Data Optimization (ADO)を導入する。 ADOは外部の知識やプロキシモデル、モデル更新の変更を必要としない。 ADOは、ドメインごとのスケーリング法則を使用して、トレーニング中の各ドメインの学習ポテンシャルを推定し、データ混合を調整する。
論文参考訳（メタデータ） (2024-10-15T17:47:44Z)
Generative Expansion of Small Datasets: An Expansive Graph Approach [13.053285552524052]
最小限のサンプルから大規模で情報豊富なデータセットを生成する拡張合成モデルを提案する。自己アテンション層と最適なトランスポートを持つオートエンコーダは、分散一貫性を洗練させる。結果は同等のパフォーマンスを示し、モデルがトレーニングデータを効果的に増強する可能性を示している。
論文参考訳（メタデータ） (2024-06-25T02:59:02Z)
AdaAugment: A Tuning-Free and Adaptive Approach to Enhance Data Augmentation [12.697608744311122]
AdaAugmentは、チューニング不要なAdaptive Augmentationメソッドである。対象ネットワークからのリアルタイムフィードバックに基づいて、個別のトレーニングサンプルの増大度を動的に調整する。優れた効率を保ちながら、他の最先端のDAメソッドの効率を一貫して上回ります。
論文参考訳（メタデータ） (2024-05-19T06:54:03Z)
Distribution-Aware Data Expansion with Diffusion Models [55.979857976023695]
本研究では,分散型拡散モデルに基づくトレーニングフリーなデータ拡張フレームワークであるDistDiffを提案する。 DistDiffは、オリジナルデータのみにトレーニングされたモデルと比較して、さまざまなデータセットの精度を一貫して向上させる。
論文参考訳（メタデータ） (2024-03-11T14:07:53Z)
Incorporating Supervised Domain Generalization into Data Augmentation [4.14360329494344]
本稿では,データ拡張の堅牢性と訓練効率を向上させるために,コントラッシブ・セマンティック・アライメント(CSA)ロス法を提案する。 CIFAR-100とCUBデータセットの実験により、提案手法は典型的なデータ拡張の堅牢性とトレーニング効率を向上させることが示された。
論文参考訳（メタデータ） (2023-10-02T09:20:12Z)
Phased Data Augmentation for Training a Likelihood-Based Generative Model with Limited Data [0.0]
生成モデルは現実的なイメージの作成に優れていますが、トレーニングのための広範なデータセットに依存しているため、大きな課題があります。現在のデータ効率の手法はGANアーキテクチャに重点を置いており、他の生成モデルの訓練にギャップを残している。位相データ拡張(phased data augmentation)は、このギャップに対処する新しい手法であり、データ分散に固有の変更を加えることなく、限られたデータシナリオでのトレーニングを最適化する。
論文参考訳（メタデータ） (2023-05-22T03:38:59Z)
Implicit Counterfactual Data Augmentation for Robust Learning [24.795542869249154]
本研究では, 突発的相関を除去し, 安定した予測を行うために, インプリシト・カウンセショナル・データ拡張法を提案する。画像とテキストのデータセットをカバーする様々なバイアス付き学習シナリオで実験が行われてきた。
論文参考訳（メタデータ） (2023-04-26T10:36:40Z)
Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
論文参考訳（メタデータ） (2022-09-29T18:11:01Z)
CADDA: Class-wise Automatic Differentiable Data Augmentation for EEG Signals [92.60744099084157]
本研究では、勾配に基づく学習に適した微分可能データ拡張を提案する。本研究は,臨床関連睡眠ステージ分類課題におけるアプローチの意義を示す。
論文参考訳（メタデータ） (2021-06-25T15:28:48Z)
Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
論文参考訳（メタデータ） (2020-10-19T21:51:47Z)
CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for Natural Language Understanding [67.61357003974153]
我々はCoDAと呼ばれる新しいデータ拡張フレームワークを提案する。 CoDAは、複数の変換を有機的に統合することで、多種多様な情報付加例を合成する。すべてのデータサンプルのグローバルな関係を捉えるために、対照的な正則化の目的を導入する。
論文参考訳（メタデータ） (2020-10-16T23:57:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。