論文の概要: DART: Diversify-Aggregate-Repeat Training Improves Generalization of Neural Networks

• arxiv url: http://arxiv.org/abs/2302.14685v2
• Date: Sat, 10 Jun 2023 15:11:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 01:03:01.887569
• Title: DART: Diversify-Aggregate-Repeat Training Improves Generalization of Neural Networks
• Title（参考訳）: DART: ニューラルネットワークの一般化を改善
• Authors: Samyak Jain, Sravanti Addepalli, Pawan Sahu, Priyam Dey and R. Venkatesh Babu
• Abstract要約: ニューラルネットワークの一般化は、それらを現実世界に安全にデプロイするために不可欠である。 本研究は,まず,訓練用ミニバッチ内での多彩な拡張を利用した,驚くほど単純だが強力な一般化ベンチマークを確立する。 次に、まず、異なる拡張(または領域)を用いて多様なモデルを訓練し、損失流域を探索するダイバーシティ・アグリゲート・リピート・トレーニング(DART)戦略を提案する。 学習を通して集約のステップを繰り返すことで、全体的な最適化軌道が向上し、個々のモデルが十分な損失障壁を有して、それらの組み合わせによる一般化が向上することを確認する。
• 参考スコア（独自算出の注目度）: 39.69378006723682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalization of neural networks is crucial for deploying them safely in the real world. Common training strategies to improve generalization involve the use of data augmentations, ensembling and model averaging. In this work, we first establish a surprisingly simple but strong benchmark for generalization which utilizes diverse augmentations within a training minibatch, and show that this can learn a more balanced distribution of features. Further, we propose Diversify-Aggregate-Repeat Training (DART) strategy that first trains diverse models using different augmentations (or domains) to explore the loss basin, and further Aggregates their weights to combine their expertise and obtain improved generalization. We find that Repeating the step of Aggregation throughout training improves the overall optimization trajectory and also ensures that the individual models have a sufficiently low loss barrier to obtain improved generalization on combining them. We shed light on our approach by casting it in the framework proposed by Shen et al. and theoretically show that it indeed generalizes better. In addition to improvements in In- Domain generalization, we demonstrate SOTA performance on the Domain Generalization benchmarks in the popular DomainBed framework as well. Our method is generic and can easily be integrated with several base training algorithms to achieve performance gains.
• Abstract（参考訳）: ニューラルネットワークの一般化は、現実世界に安全にデプロイするには不可欠である。 一般化を改善するための一般的なトレーニング戦略は、データ拡張、センスリング、モデル平均化の使用である。 本研究は,まず,トレーニングミニバッチ内で多種多様な拡張を生かした,驚くほど単純だが強力な一般化ベンチマークを構築し,よりバランスの取れた機能分布を学習できることを示す。 さらに,損失盆地を探索するために,異なる拡張(あるいはドメイン)を用いた多種多様なモデルを訓練し,その専門知識を組み合わせるために重みを集約し,一般化する,多種多様化・集約・リピート訓練(dart)戦略を提案する。 トレーニングを通じて集約のステップを繰り返すことで、全体的な最適化軌道が向上し、個々のモデルに十分な損失障壁があることが保証され、それらの組み合わせによる一般化が向上する。 shenらによって提案されたフレームワークにキャストすることで、私たちのアプローチに光を当て、理論的にはそれがより一般化していることを示している。 In-Domain Generalizationの改善に加えて、人気のあるDomainBedフレームワークのDomain GeneralizationベンチマークでもSOTAのパフォーマンスを実証する。 本手法は汎用的であり,複数のベーストレーニングアルゴリズムと容易に統合して性能向上を図ることができる。

関連論文リスト

• Improved Generalization Bounds for Communication Efficient Federated Learning [4.3707341422218215]
  本稿では,一般化境界の探索と表現学習によるフェデレーション学習の通信コストの低減に焦点をあてる。 我々は、一般化境界と表現学習分析に基づいて、適応的局所ステップ付きフェデレートラーニング(FedALS)アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-04-17T21:17:48Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• Promoting Generalization for Exact Solvers via Adversarial Instance Augmentation [62.738582127114704]
  Adarは、模倣学習ベース(ILベース)と強化学習ベース(RLベース)の両方の一般化を理解し、改善するためのフレームワークである。
  論文  参考訳（メタデータ） (2023-10-22T03:15:36Z)
• NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
  ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。 本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。 テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
  論文  参考訳（メタデータ） (2023-07-25T13:35:45Z)
• Augmentation-based Domain Generalization for Semantic Segmentation [2.179313476241343]
  教師なしドメイン適応(UDA)とドメイン一般化(DG)は、目に見えないドメインに対するディープニューラルネットワーク(DNN)の一般化の欠如に対処することを目的としている。 本稿では,ボケ,ノイズ,色ジッタなど,シンプルなルールベースの画像拡張によるドメイン内および外部の一般化機能について検討する。 我々の実験は、複数の異なる拡張の組み合わせが単一拡張よりも優れているという一般的な科学的基準を確認した。
  論文  参考訳（メタデータ） (2023-04-24T14:26:53Z)
• Semi-Supervised Domain Generalization with Stochastic StyleMatch [90.98288822165482]
  実世界のアプリケーションでは、アノテーションのコストが高いため、各ソースドメインから利用可能なラベルはわずかです。 本研究では,より現実的で実践的な半教師付き領域一般化について検討する。 提案手法であるStyleMatchは,擬似ラベルに基づく最先端の半教師付き学習手法であるFixMatchに着想を得たものである。
  論文  参考訳（メタデータ） (2021-06-01T16:00:08Z)
• Contrastive Syn-to-Real Generalization [125.54991489017854]
  我々は,学習した特徴埋め込みの多様性が一般化性能に重要な役割を果たすことを重要視する。 本研究では,イメージネットの知識を生かして合成領域への過剰適合を防ぐ新しい枠組みであるコントラスト合成から実への一般化(csg)を提案する。 CSGの各種合成訓練における効果を実証し、ゼロショット領域の一般化に対する最先端性能を示す。
  論文  参考訳（メタデータ） (2021-04-06T05:10:29Z)
• Rethinking Domain Generalization Baselines [21.841393368012977]
  ディープラーニングモデルは、トレーニングされたシナリオとは異なるシナリオでデプロイすると脆くなります。 データ拡張戦略は、データ変動性を高めるための有用なツールであり、ドメイン間のモデル堅牢性をサポートする。 この課題はドメイン一般化研究の新しいシナリオを開放し、導入したデータ可変性を適切に活用できる新しい手法の必要性を強調した。
  論文  参考訳（メタデータ） (2021-01-22T11:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。