論文の概要: Adaptive Data Dropout: Towards Self-Regulated Learning in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2604.12945v1
• Date: Tue, 14 Apr 2026 16:41:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.564916
• Title: Adaptive Data Dropout: Towards Self-Regulated Learning in Deep Neural Networks
• Title（参考訳）: 適応型データドロップアウト:ディープニューラルネットワークにおける自己制御型学習を目指して
• Authors: Amar Gahir, Varshil Patel, Shreyank N Gowda,
• Abstract要約: ディープニューラルネットワークは通常、エポック全体にわたって大きなデータセットを均一にサンプリングすることによって訓練される。 最近の研究は、トレーニングデータの量を徐々に減らすことで、効率と一般化が向上することを示している。 本稿では,パフォーマンスフィードバックに基づいてトレーニングデータのサブセットを動的に調整するフレームワークであるAdaptive Data Dropoutを提案する。
• 参考スコア（独自算出の注目度）: 10.269961654607108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks are typically trained by uniformly sampling large datasets across epochs, despite evidence that not all samples contribute equally throughout learning. Recent work shows that progressively reducing the amount of training data can improve efficiency and generalization, but existing methods rely on fixed schedules that do not adapt during training. In this work, we propose Adaptive Data Dropout, a simple framework that dynamically adjusts the subset of training data based on performance feedback. Inspired by self-regulated learning, our approach treats data selection as an adaptive process, increasing or decreasing data exposure in response to changes in training accuracy. We introduce a lightweight stochastic update mechanism that modulates the dropout schedule online, allowing the model to balance exploration and consolidation over time. Experiments on standard image classification benchmarks show that our method reduces effective training steps while maintaining competitive accuracy compared to static data dropout strategies. These results highlight adaptive data selection as a promising direction for efficient and robust training. Code will be released.
• Abstract（参考訳）: ディープニューラルネットワークは通常、すべてのサンプルが学習全体を通して等しく寄与するわけではないにもかかわらず、エポック全体にわたって大きなデータセットを均一にサンプリングすることで訓練される。 最近の研究は、トレーニングデータの量を徐々に減らすことで効率と一般化が向上することを示しているが、既存の手法はトレーニング中に適応しない固定スケジュールに依存している。 本研究では,パフォーマンスフィードバックに基づいてトレーニングデータのサブセットを動的に調整するシンプルなフレームワークであるAdaptive Data Dropoutを提案する。 自己制御学習に触発された本研究は,データ選択を適応的プロセスとして扱い,トレーニング精度の変化に応じてデータ露出を増大または減少させる。 我々は、オンラインのドロップアウトスケジュールを変調する軽量な確率的更新機構を導入し、時間とともに探索と統合のバランスをとることができる。 標準画像分類ベンチマーク実験により,静的なデータドロップアウト戦略と比較して,競合精度を維持しつつ,効果的なトレーニングステップを削減できることが示されている。 これらの結果は、適応的なデータ選択を、効率的で堅牢なトレーニングのための有望な方向として強調する。 コードはリリースされる。

関連論文リスト

• MetaDAT: Generalizable Trajectory Prediction via Meta Pre-training and Data-Adaptive Test-Time Updating [18.84791793147564]
  既存の軌道予測法では, 試験時間における分布変化による性能劣化が顕著である。 高速かつ正確なオンライン適応のための予測器を直接最適化するメタラーニングフレームワークを提案する。 テスト時に、オンライン部分微分とハードサンプル選択に基づいて学習率を動的に調整し、周波数を更新するデータ適応モデル更新機構を導入する。 その結果,提案手法は軌道予測のための最先端の試験時間トレーニング手法を超越し,適応精度が向上することを示した。
  論文  参考訳（メタデータ） (2026-03-10T09:34:32Z)
• Entropy-Guided Token Dropout: Training Autoregressive Language Models with Limited Domain Data [89.96277093034547]
  本研究では,エントロピー誘導型トークンドロップアウト方式であるEntroDropを導入する。 本稿では,EntroDropが標準正規化ベースラインを一貫して上回り,拡張型マルチエポックトレーニングを通じて堅牢な性能を維持していることを示す。
  論文  参考訳（メタデータ） (2025-12-29T12:35:51Z)
• Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
  我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。 軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。 データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:28:55Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
  本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。 モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。 この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
  論文  参考訳（メタデータ） (2022-07-13T09:43:17Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Friendly Training: Neural Networks Can Adapt Data To Make Learning Easier [23.886422706697882]
  フレンドリートレーニング(Friendly Training)と呼ばれる新しいトレーニング手順を提案する。 フレンドリートレーニングは、情報サブ選択とランダム選択に関して改善をもたらすことを示す。 その結果,入力データへの適応は学習を安定させ,ネットワークのスキル一般化を改善するための有効な方法であることが示唆された。
  論文  参考訳（メタデータ） (2021-06-21T10:50:34Z)
• Online Coreset Selection for Rehearsal-based Continual Learning [65.85595842458882]
  継続的な学習では、後に再生されるトレーニング例(コアセット)のサブセットを格納し、破滅的な忘れを軽減します。 提案するオンラインコアセット選択(OCS, Online Coreset Selection)は, 各イテレーションにおいて最も代表的で情報性の高いコアセットを選択するシンプルで効果的な方法である。 提案手法は,過去のタスクに対して高親和性サンプルを選択しながら,目標データセットへのモデル適応を最大化し,破滅的忘れを直接的に抑制する。
  論文  参考訳（メタデータ） (2021-06-02T11:39:25Z)
• Gradient-guided Loss Masking for Neural Machine Translation [27.609155878513334]
  本稿では、トレーニングプロセス中にデータ利用を動的に最適化する戦略を検討する。 本アルゴリズムは,トレーニングデータとクリーンデータとの勾配アライメントを計算し,負のアライメントでデータをマスクアウトする。 3つのwmt言語ペアを実験した結果,本手法は強いベースラインよりも大きな改善をもたらすことがわかった。
  論文  参考訳（メタデータ） (2021-02-26T15:41:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。