論文の概要: An Extensive Study on D2C: Overfitting Remediation in Deep Learning Using a Decentralized Approach

• arxiv url: http://arxiv.org/abs/2411.15876v1
• Date: Sun, 24 Nov 2024 15:31:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:19:41.342704
• Title: An Extensive Study on D2C: Overfitting Remediation in Deep Learning Using a Decentralized Approach
• Title（参考訳）: D2Cの大規模研究:分散的アプローチによる深層学習におけるオーバーフィッティング修復
• Authors: Md. Saiful Bari Siddiqui, Md Mohaiminul Islam, Md. Golam Rabiul Alam,
• Abstract要約: Divide2Conquer(D2C)は、ディープラーニングにおけるオーバーフィットを軽減する技術である。 D2Cはトレーニングデータを複数のサブセットに分割し、各サブセットに対して独立して同一モデルをトレーニングする。 ベンチマークデータセットに対する実証的な評価は、D2Cが一般化性能を著しく向上させることを示している。
• 参考スコア（独自算出の注目度）: 2.7275555568872702
• License:
• Abstract: Overfitting remains a significant challenge in deep learning, often arising from data outliers, noise, and limited training data. To address this, we propose Divide2Conquer (D2C), a novel technique to mitigate overfitting. D2C partitions the training data into multiple subsets and trains identical models independently on each subset. To balance model generalization and subset-specific learning, the model parameters are periodically aggregated and averaged during training. This process enables the learning of robust patterns while minimizing the influence of outliers and noise. Empirical evaluations on benchmark datasets across diverse deep-learning tasks demonstrate that D2C significantly enhances generalization performance, particularly with larger datasets. Our analysis includes evaluations of decision boundaries, loss curves, and other performance metrics, highlighting D2C's effectiveness both as a standalone technique and in combination with other overfitting reduction methods. We further provide a rigorous mathematical justification for D2C's underlying principles and examine its applicability across multiple domains. Finally, we explore the trade-offs associated with D2C and propose strategies to address them, offering a holistic view of its strengths and limitations. This study establishes D2C as a versatile and effective approach to combating overfitting in deep learning. Our codes are publicly available at: https://github.com/Saiful185/Divide2Conquer.
• Abstract（参考訳）: オーバーフィッティングは深層学習において重要な課題であり、データアウトレーヤやノイズ、限られたトレーニングデータから生じることが多い。 そこで我々は,オーバーフィッティングを緩和する新しい手法であるD2C(Divide2Conquer)を提案する。 D2Cはトレーニングデータを複数のサブセットに分割し、各サブセットに対して独立して同一モデルをトレーニングする。 モデルの一般化とサブセット固有の学習のバランスをとるために、モデルのパラメータはトレーニング中に定期的に集約され、平均化されます。 このプロセスは、外れ値とノイズの影響を最小限に抑えつつ、堅牢なパターンの学習を可能にする。 さまざまなディープラーニングタスクにわたるベンチマークデータセットに対する実証的な評価は、D2Cが特に大規模なデータセットにおいて、一般化パフォーマンスを著しく向上することを示している。 本分析では, 決定境界, 損失曲線, その他の性能指標の評価を行い, D2Cの有効性を独立技術として, その他のオーバーフィット低減手法と組み合わせて評価した。 さらに、D2Cの基本原理の厳密な数学的正当性を提供し、複数の領域にまたがる適用性を検討する。 最後に、D2Cに関連するトレードオフを調査し、それに対応するための戦略を提案し、その強みと限界を概観する。 本研究は,D2Cを深層学習におけるオーバーフィットと戦うための汎用的で効果的なアプローチとして確立する。 私たちのコードは、https://github.com/Saiful185/Divide2Conquer.comで公開されています。

関連論文リスト

• DANCE: Dual-View Distribution Alignment for Dataset Condensation [39.08022095906364]
  我々は、データセットのコンディエンテーション(DANCE)のためのDMベースの新しいDual-view Distribution AligNmentを提案する。 具体的には、内部クラスの観点から複数の「中間エンコーダ」を構築し、擬似的な長期分布アライメントを行う。 クラス間の観点からは,分布キャリブレーションを行うために専門家モデルを用いる。
  論文  参考訳（メタデータ） (2024-06-03T07:22:17Z)
• Learning to Maximize Mutual Information for Chain-of-Thought Distillation [13.660167848386806]
  Distilling Step-by-Step(DSS)は、より大きなモデルよりも優れた推論能力を持つ小さなモデルを投入することで、約束を証明している。 しかし、DSSは2つのトレーニングタスクの本質的な関係を見落とし、CoT知識とラベル予測のタスクの非効率な統合につながる。 学習に基づく手法を用いて,この問題を解決するための変分手法を提案する。
  論文  参考訳（メタデータ） (2024-03-05T22:21:45Z)
• D2 Pruning: Message Passing for Balancing Diversity and Difficulty in Data Pruning [70.98091101459421]
  コアセット選択は、トレーニングデータのサブセットを選択して、このサブセット(コアセットとも呼ばれる)でトレーニングされたモデルのパフォーマンスを最大化する。 コアセット選択のために,このデータセットグラフ上で前後のメッセージパッシングを利用する新しいプルーニングアルゴリズムD2プルーニングを提案する。 その結果、D2プルーニングは従来の最先端手法よりもコアセット選択を向上し、最大70%のプルーニングレートが得られた。
  論文  参考訳（メタデータ） (2023-10-11T23:01:29Z)
• Towards Sustainable Learning: Coresets for Data-efficient Deep Learning [9.51481812606879]
  CRESTは、データセットに関する厳密な理論的サブセット実験を備えた、最初のスケーラブルなサブセットディープネットワークフレームワークである。 CRESTは、非イメージ関数の最も価値のある例を特定している。
  論文  参考訳（メタデータ） (2023-06-02T02:51:08Z)
• Tackling Long-Tailed Category Distribution Under Domain Shifts [50.21255304847395]
  既存のアプローチでは、両方の問題が存在するシナリオに対処できません。 本研究では,分散校正型分類損失,視覚意味マッピング,セマンティック類似性誘導拡張の3つの新しい機能ブロックを設計した。 AWA2-LTSとImageNet-LTSという2つの新しいデータセットが提案された。
  論文  参考訳（メタデータ） (2022-07-20T19:07:46Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Adversarial Dual-Student with Differentiable Spatial Warping for Semi-Supervised Semantic Segmentation [70.2166826794421]
  本研究では、教師なしデータ拡張を行うために、微分可能な幾何ワープを提案する。 また,平均教師数を改善するために,新しい対角的二重学習フレームワークを提案する。 我々のソリューションは、両方のデータセットで得られるパフォーマンスと最先端の結果を大幅に改善します。
  論文  参考訳（メタデータ） (2022-03-05T17:36:17Z)
• Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
  本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。 最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。 提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
  論文  参考訳（メタデータ） (2021-11-26T18:44:59Z)
• Learning Robust Representation for Clustering through Locality Preserving Variational Discriminative Network [16.259673823482665]
  Variational Deep Embeddingは、さまざまなクラスタリングタスクで大きな成功を収めます。 VaDEは,1)入力ノイズに弱い,2)隣接するデータポイント間の局所性情報を無視する,という2つの問題に悩まされている。 強固な埋め込み判別器と局所構造制約によりvadeを改善する共同学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-25T02:31:55Z)
• One-Shot Object Detection without Fine-Tuning [62.39210447209698]
  本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。 また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。 提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
  論文  参考訳（メタデータ） (2020-05-08T01:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。