論文の概要: DUA-D2C: Dynamic Uncertainty Aware Method for Overfitting Remediation in Deep Learning
- arxiv url: http://arxiv.org/abs/2411.15876v2
- Date: Tue, 07 Oct 2025 03:11:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-08 15:38:19.578331
- Title: DUA-D2C: Dynamic Uncertainty Aware Method for Overfitting Remediation in Deep Learning
- Title（参考訳）: DUA-D2C: 深層学習における修復をオーバーフィッティングするための動的不確実性認識手法
- Authors: Md. Saiful Bari Siddiqui, Md Mohaiminul Islam, Md. Golam Rabiul Alam,
- Abstract要約: 本稿では,動的不確かさを意識したDivide2Conquer(DUA-D2C)について述べる。
DUA-D2Cは、共有バリデーションセット上での性能に基づいて、サブセットモデルのコントリビューションを動的に重み付けする。
複数のドメインにまたがるベンチマークデータセットに対する実証的な評価は、DUA-D2Cが一般化を著しく改善することを示している。
- 参考スコア（独自算出の注目度）: 6.662766315759924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Overfitting remains a significant challenge in deep learning, often arising from data outliers, noise, and limited training data. To address this, the Divide2Conquer (D2C) method was previously proposed, which partitions training data into multiple subsets and trains identical models independently on each. This strategy enables learning more consistent patterns while minimizing the influence of individual outliers and noise. However, D2C's standard aggregation typically treats all subset models equally or based on fixed heuristics (like data size), potentially underutilizing information about their varying generalization capabilities. Building upon this foundation, we introduce Dynamic Uncertainty-Aware Divide2Conquer (DUA-D2C), an advanced technique that refines the aggregation process. DUA-D2C dynamically weights the contributions of subset models based on their performance on a shared validation set, considering both accuracy and prediction uncertainty. This intelligent aggregation allows the central model to preferentially learn from subsets yielding more generalizable and confident edge models, thereby more effectively combating overfitting. Empirical evaluations on benchmark datasets spanning multiple domains demonstrate that DUA-D2C significantly improves generalization. Our analysis includes evaluations of decision boundaries, loss curves, and other performance metrics, highlighting the effectiveness of DUA-D2C. This study demonstrates that DUA-D2C improves generalization performance even when applied on top of other regularization methods, establishing it as a theoretically grounded and effective approach to combating overfitting in modern deep learning. Our codes are publicly available at: https://github.com/Saiful185/DUA-D2C.
- Abstract（参考訳）: オーバーフィッティングは深層学習において重要な課題であり、データアウトレーヤやノイズ、限られたトレーニングデータから生じることが多い。
これを解決するために、D2C法(Divide2Conquer)が提案され、トレーニングデータを複数のサブセットに分割し、それぞれ独立して同一モデルを訓練する。
この戦略は、個々の外れ値とノイズの影響を最小限に抑えながら、より一貫性のあるパターンを学習することを可能にする。
しかし、D2Cの標準集約は通常、すべてのサブセットモデルを等しく、あるいは(データサイズのような)固定ヒューリスティックに基づいて扱い、それらの様々な一般化能力に関する情報を過小評価する可能性がある。
この基盤の上に構築された動的不確実性を考慮したDivide2Conquer(DUA-D2C)は,アグリゲーションプロセスを洗練する高度な技術である。
DUA-D2Cは、精度と予測の不確実性の両方を考慮して、共有検証セット上での性能に基づいて、サブセットモデルのコントリビューションを動的に重み付けする。
このインテリジェントアグリゲーションにより、中央モデルはより一般化可能で確実なエッジモデルをもたらす部分集合から優先的に学習することができ、これによりオーバーフィッティングとより効果的に戦うことができる。
複数のドメインにまたがるベンチマークデータセットに対する実証的な評価は、DUA-D2Cが一般化を著しく改善することを示している。
本分析では,決定境界,損失曲線,その他の性能指標の評価を行い,DUA-D2Cの有効性を強調した。
本研究は, DUA-D2Cが他の正規化手法に応用しても, 一般化性能を向上させることを示し, 現代の深層学習におけるオーバーフィット対策の理論的根拠と効果的なアプローチとして確立した。
私たちのコードは、https://github.com/Saiful185/DUA-D2Cで公開されています。
関連論文リスト
- Unlocking the Potential of Difficulty Prior in RL-based Multimodal Reasoning [69.64809103333839]
先行情報に対する問題の難易度を明示的にモデル化し,多モーダル推論における強化学習に基づく微調整の有効性を検証した。
提案手法は,2段階学習データのみを2K+0.6Kとする多モード数学的推論ベンチマークにおいて有意な性能を示す。
論文 参考訳（メタデータ） (2025-05-19T15:43:10Z) - Continual Multimodal Contrastive Learning [70.60542106731813]
マルチモーダル・コントラッシブ・ラーニング(MCL)は、異なるモーダルを整列させ、関節空間で多モーダル表現を生成する。
マルチモーダルデータは単一のプロセスで収集されることはめったになく、スクラッチからのトレーニングは計算コストがかかる。
本稿では, 安定性と塑性の2つの原理によりCMCLを定式化する。
理論的には、二辺から部分空間への勾配の更新を計画する、新しい最適化に基づく手法を導出する。
論文 参考訳（メタデータ） (2025-03-19T07:57:08Z) - DANCE: Dual-View Distribution Alignment for Dataset Condensation [39.08022095906364]
我々は、データセットのコンディエンテーション(DANCE)のためのDMベースの新しいDual-view Distribution AligNmentを提案する。
具体的には、内部クラスの観点から複数の「中間エンコーダ」を構築し、擬似的な長期分布アライメントを行う。
クラス間の観点からは,分布キャリブレーションを行うために専門家モデルを用いる。
論文 参考訳（メタデータ） (2024-06-03T07:22:17Z) - Learning to Maximize Mutual Information for Chain-of-Thought Distillation [13.660167848386806]
Distilling Step-by-Step(DSS)は、より大きなモデルよりも優れた推論能力を持つ小さなモデルを投入することで、約束を証明している。
しかし、DSSは2つのトレーニングタスクの本質的な関係を見落とし、CoT知識とラベル予測のタスクの非効率な統合につながる。
学習に基づく手法を用いて,この問題を解決するための変分手法を提案する。
論文 参考訳（メタデータ） (2024-03-05T22:21:45Z) - D2 Pruning: Message Passing for Balancing Diversity and Difficulty in
Data Pruning [70.98091101459421]
コアセット選択は、トレーニングデータのサブセットを選択して、このサブセット(コアセットとも呼ばれる)でトレーニングされたモデルのパフォーマンスを最大化する。
コアセット選択のために,このデータセットグラフ上で前後のメッセージパッシングを利用する新しいプルーニングアルゴリズムD2プルーニングを提案する。
その結果、D2プルーニングは従来の最先端手法よりもコアセット選択を向上し、最大70%のプルーニングレートが得られた。
論文 参考訳（メタデータ） (2023-10-11T23:01:29Z) - Towards Sustainable Learning: Coresets for Data-efficient Deep Learning [9.51481812606879]
CRESTは、データセットに関する厳密な理論的サブセット実験を備えた、最初のスケーラブルなサブセットディープネットワークフレームワークである。
CRESTは、非イメージ関数の最も価値のある例を特定している。
論文 参考訳（メタデータ） (2023-06-02T02:51:08Z) - Tackling Long-Tailed Category Distribution Under Domain Shifts [50.21255304847395]
既存のアプローチでは、両方の問題が存在するシナリオに対処できません。
本研究では,分散校正型分類損失,視覚意味マッピング,セマンティック類似性誘導拡張の3つの新しい機能ブロックを設計した。
AWA2-LTSとImageNet-LTSという2つの新しいデータセットが提案された。
論文 参考訳（メタデータ） (2022-07-20T19:07:46Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳（メタデータ） (2022-07-17T07:05:39Z) - Adversarial Dual-Student with Differentiable Spatial Warping for
Semi-Supervised Semantic Segmentation [70.2166826794421]
本研究では、教師なしデータ拡張を行うために、微分可能な幾何ワープを提案する。
また,平均教師数を改善するために,新しい対角的二重学習フレームワークを提案する。
我々のソリューションは、両方のデータセットで得られるパフォーマンスと最先端の結果を大幅に改善します。
論文 参考訳（メタデータ） (2022-03-05T17:36:17Z) - Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。
最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。
提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
論文 参考訳（メタデータ） (2021-11-26T18:44:59Z) - Learning Robust Representation for Clustering through Locality
Preserving Variational Discriminative Network [16.259673823482665]
Variational Deep Embeddingは、さまざまなクラスタリングタスクで大きな成功を収めます。
VaDEは,1)入力ノイズに弱い,2)隣接するデータポイント間の局所性情報を無視する,という2つの問題に悩まされている。
強固な埋め込み判別器と局所構造制約によりvadeを改善する共同学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-12-25T02:31:55Z) - One-Shot Object Detection without Fine-Tuning [62.39210447209698]
本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。
また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。
提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
論文 参考訳（メタデータ） (2020-05-08T01:59:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。