論文の概要: Towards Mitigating Architecture Overfitting in Dataset Distillation

• arxiv url: http://arxiv.org/abs/2309.04195v1
• Date: Fri, 8 Sep 2023 08:12:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 13:51:26.880042
• Title: Towards Mitigating Architecture Overfitting in Dataset Distillation
• Title（参考訳）: データセット蒸留におけるアーキテクチャオーバーフィッティングの軽減に向けて
• Authors: Xuyang Zhong, Chen Liu
• Abstract要約: アーキテクチャ設計とトレーニングスキームの両方において,一般化性能を高めるための一連のアプローチを提案する。 提案手法の有効性と汎用性を実証するための広範な実験を行った。
• 参考スコア（独自算出の注目度）: 2.7610336610850292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dataset distillation methods have demonstrated remarkable performance for neural networks trained with very limited training data. However, a significant challenge arises in the form of architecture overfitting: the distilled training data synthesized by a specific network architecture (i.e., training network) generates poor performance when trained by other network architectures (i.e., test networks). This paper addresses this issue and proposes a series of approaches in both architecture designs and training schemes which can be adopted together to boost the generalization performance across different network architectures on the distilled training data. We conduct extensive experiments to demonstrate the effectiveness and generality of our methods. Particularly, across various scenarios involving different sizes of distilled data, our approaches achieve comparable or superior performance to existing methods when training on the distilled data using networks with larger capacities.
• Abstract（参考訳）: データセットの蒸留法は、非常に限られたトレーニングデータで訓練されたニューラルネットワークの顕著な性能を示している。 特定のネットワークアーキテクチャ(例えば、トレーニングネットワーク)によって合成された蒸留されたトレーニングデータは、他のネットワークアーキテクチャ(例えば、テストネットワーク)によってトレーニングされた場合、性能が低下する。 本稿では, 蒸留訓練データ上で異なるネットワークアーキテクチャをまたいだ一般化性能を向上させるため, アーキテクチャ設計とトレーニングスキームの両方において, 一連のアプローチを提案する。 提案手法の有効性と汎用性を実証するための広範な実験を行った。 特に, 蒸留データの大きさの異なる様々なシナリオにおいて, 蒸留データに対するトレーニングにおいて, 既存の手法と同等ないし優れた性能を達成している。

関連論文リスト

• Automated Label Unification for Multi-Dataset Semantic Segmentation with GNNs [48.406728896785296]
  本稿では,グラフニューラルネットワークを用いて,複数のデータセットにまたがる統一ラベル空間を自動構築する手法を提案する。 従来の手法と異なり,本手法は手動の注釈や分類の調整を必要とせず,シームレスな訓練を容易にする。
  論文  参考訳（メタデータ） (2024-07-15T08:42:10Z)
• Efficient and Accurate Hyperspectral Image Demosaicing with Neural Network Architectures [3.386560551295746]
  本研究では,ハイパースペクトル画像復調におけるニューラルネットワークアーキテクチャの有効性について検討した。 様々なネットワークモデルと修正を導入し、それらを従来の手法や既存の参照ネットワークアプローチと比較する。 その結果、我々のネットワークは、例外的な性能を示す両方のデータセットにおいて、参照モデルよりも優れるか、一致していることがわかった。
  論文  参考訳（メタデータ） (2023-12-21T08:02:49Z)
• The Training Process of Many Deep Networks Explores the Same Low-Dimensional Manifold [21.431022906309334]
  我々は,訓練中の深層ネットワーク予測の軌跡を解析するための情報幾何学的手法を開発した。 異なるアーキテクチャを持つネットワークは区別可能な軌跡に従うが、他の要因は最小限の影響を持つ。 より大きなネットワークは、より小さなネットワークと同様の多様体に沿って訓練し、予測空間の非常に異なる部分のネットワークは、同様の多様体に沿って解に収束する。
  論文  参考訳（メタデータ） (2023-05-02T17:09:07Z)
• FedHeN: Federated Learning in Heterogeneous Networks [52.29110497518558]
  ヘテロジニアスネットワークを用いたフェデレーション学習のための新しい学習レシピを提案する。 我々は,高次複雑度デバイスを対象とするトレーニングを導入し,連携した環境で異なるアーキテクチャを共同で訓練する。
  論文  参考訳（メタデータ） (2022-07-07T01:08:35Z)
• Dataset Distillation by Matching Training Trajectories [75.9031209877651]
  そこで本研究では,実データと同じような状態にネットワークを誘導するために,蒸留データを最適化する新しい定式化を提案する。 ネットワークが与えられたら、蒸留データを何回か繰り返して訓練し、合成訓練されたパラメータと実データで訓練されたパラメータとの距離に関して蒸留データを最適化する。 本手法は既存の手法よりも優れており,高解像度の視覚データを蒸留することができる。
  論文  参考訳（メタデータ） (2022-03-22T17:58:59Z)
• Learning to Generate Synthetic Training Data using Gradient Matching and Implicit Differentiation [77.34726150561087]
  本稿では,深層ネットワークの訓練に要するデータ量を削減できる各種データ蒸留技術について検討する。 近年の考え方に触発されて, 生成的学習ネットワーク, 勾配マッチング, インプリシット関数理論に基づく新しいデータ蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T11:45:32Z)
• DHEN: A Deep and Hierarchical Ensemble Network for Large-Scale Click-Through Rate Prediction [20.51885543358098]
  ヘテロジニアス相互作用モジュールの強みを生かし、異なる順序で相互作用の階層構造を学習できる深層・階層型アンサンブルアーキテクチャDHENを提案する。 CTR予測タスクからの大規模データセットの実験では、予測の正規化エントロピーが0.27%向上し、最先端のベースラインよりも1.2倍優れたトレーニングスループットが得られた。
  論文  参考訳（メタデータ） (2022-03-11T21:19:31Z)
• Towards Federated Bayesian Network Structure Learning with Continuous Optimization [14.779035801521717]
  本稿では,ベイズネットワークの構造を推定するクロスサイロ・フェデレーション学習手法を提案する。 本研究では,連続最適化に基づく分散構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T14:36:05Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• Dataset Condensation with Gradient Matching [36.14340188365505]
  本研究では,大規模なデータセットを,深層ニューラルネットワークをスクラッチからトレーニングするための情報的合成サンプルの小さなセットに凝縮させることを学習する,データセット凝縮という,データ効率のよい学習のためのトレーニングセット合成手法を提案する。 いくつかのコンピュータビジョンベンチマークでその性能を厳格に評価し、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-10T16:30:52Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。