論文の概要: On-the-Fly Data Augmentation via Gradient-Guided and Sample-Aware Influence Estimation

• arxiv url: http://arxiv.org/abs/2510.00434v1
• Date: Wed, 01 Oct 2025 02:26:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.334507
• Title: On-the-Fly Data Augmentation via Gradient-Guided and Sample-Aware Influence Estimation
• Title（参考訳）: グラディエントガイドとサンプル認識によるオンザフライデータ拡張
• Authors: Suorong Yang, Jie Zong, Lihang Wang, Ziheng Qin, Hai Gan, Pengfei Zhou, Kai Wang, Yang You, Furao Shen,
• Abstract要約: モデル最適化に対する各サンプルの進化的影響に基づいて,各サンプルの強化強度をオンザフライで調整する,サンプル認識動的拡張(SADA)について紹介する。 本手法は軽量であり,補助モデルやポリシーチューニングを必要としない。既存のトレーニングパイプラインにプラグイン・アンド・プレイモジュールとしてシームレスに統合することができる。
• 参考スコア（独自算出の注目度）: 21.267525672022046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation has been widely employed to improve the generalization of deep neural networks. Most existing methods apply fixed or random transformations. However, we find that sample difficulty evolves along with the model's generalization capabilities in dynamic training environments. As a result, applying uniform or stochastic augmentations, without accounting for such dynamics, can lead to a mismatch between augmented data and the model's evolving training needs, ultimately degrading training effectiveness. To address this, we introduce SADA, a Sample-Aware Dynamic Augmentation that performs on-the-fly adjustment of augmentation strengths based on each sample's evolving influence on model optimization. Specifically, we estimate each sample's influence by projecting its gradient onto the accumulated model update direction and computing the temporal variance within a local training window. Samples with low variance, indicating stable and consistent influence, are augmented more strongly to emphasize diversity, while unstable samples receive milder transformations to preserve semantic fidelity and stabilize learning. Our method is lightweight, which does not require auxiliary models or policy tuning. It can be seamlessly integrated into existing training pipelines as a plug-and-play module. Experiments across various benchmark datasets and model architectures show consistent improvements of SADA, including +7.3\% on fine-grained tasks and +4.3\% on long-tailed datasets, highlighting the method's effectiveness and practicality.
• Abstract（参考訳）: データ拡張はディープニューラルネットワークの一般化を改善するために広く利用されている。 既存の方法の多くは、固定あるいはランダムな変換を適用している。 しかし, サンプルの難易度は, 動的学習環境におけるモデルの一般化能力とともに進化することがわかった。 結果として、このようなダイナミクスを考慮せずに、均一または確率的な拡張を適用することは、強化データとモデルの進化するトレーニングニーズとのミスマッチを招き、最終的にトレーニングの有効性を低下させる。 そこで本研究では,モデル最適化に対する各サンプルの進化的影響に基づいて,各サンプルの強化強度をオンザフライで調整する,サンプル認識動的拡張(SADA)について紹介する。 具体的には、各サンプルが蓄積したモデル更新方向への勾配を投影し、局所的な訓練ウィンドウ内の時間変動を計算することにより、各サンプルの影響を推定する。 安定かつ一貫した影響を示す低分散のサンプルは、多様性を強調するために強化され、不安定なサンプルは、意味的忠実性を維持し、学習を安定させるために、より穏やかな変換を受ける。 提案手法は軽量であり,補助モデルやポリシーチューニングを必要としない。 プラグイン・アンド・プレイモジュールとして既存のトレーニングパイプラインにシームレスに統合できる。 様々なベンチマークデータセットとモデルアーキテクチャの実験は、細粒度タスクの+7.3\%、長い尾のデータセットの+4.3\%など、SADAの一貫性のある改善を示し、メソッドの有効性と実用性を強調している。

関連論文リスト

• Feasible Learning [78.6167929413604]
  本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。 大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
  論文  参考訳（メタデータ） (2025-01-24T20:39:38Z)
• AdaAugment: A Tuning-Free and Adaptive Approach to Enhance Data Augmentation [12.697608744311122]
  AdaAugmentは、ディープモデルのためのチューニング不要適応拡張手法である。 ターゲットネットワークからのリアルタイムフィードバックに基づいて、拡張のマグニチュードを適応する。 実験では、他の最先端のDAメソッドよりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-05-19T06:54:03Z)
• Boosting Model Resilience via Implicit Adversarial Data Augmentation [20.768174896574916]
  本稿では, 対向性および対向性摂動分布を組み込むことにより, 試料の深い特性を増大させることを提案する。 そして、この拡張過程が代理損失関数の最適化に近似することを理論的に明らかにする。 我々は4つの共通のバイアス付き学習シナリオにまたがって広範な実験を行う。
  論文  参考訳（メタデータ） (2024-04-25T03:22:48Z)
• Fast-Slow Test-Time Adaptation for Online Vision-and-Language Navigation [67.18144414660681]
  オンラインビジョン・アンド・ランゲージナビゲーション(VLN)のためのFSTTA(Fast-Slow Test-Time Adaptation)アプローチを提案する。 提案手法は,4つのベンチマークにおいて顕著な性能向上を実現する。
  論文  参考訳（メタデータ） (2023-11-22T07:47:39Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
  GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
  論文  参考訳（メタデータ） (2022-10-27T02:55:15Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Dynamic Scale Training for Object Detection [111.33112051962514]
  本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。 提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。 推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
  論文  参考訳（メタデータ） (2020-04-26T16:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。