論文の概要: Towards Mitigating Architecture Overfitting in Dataset Distillation

• arxiv url: http://arxiv.org/abs/2309.04195v1
• Date: Fri, 8 Sep 2023 08:12:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 13:51:26.880042
• Title: Towards Mitigating Architecture Overfitting in Dataset Distillation
• Title（参考訳）: データセット蒸留におけるアーキテクチャオーバーフィッティングの軽減に向けて
• Authors: Xuyang Zhong, Chen Liu
• Abstract要約: アーキテクチャ設計とトレーニングスキームの両方において,一般化性能を高めるための一連のアプローチを提案する。 提案手法の有効性と汎用性を実証するための広範な実験を行った。
• 参考スコア（独自算出の注目度）: 2.7610336610850292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dataset distillation methods have demonstrated remarkable performance for neural networks trained with very limited training data. However, a significant challenge arises in the form of architecture overfitting: the distilled training data synthesized by a specific network architecture (i.e., training network) generates poor performance when trained by other network architectures (i.e., test networks). This paper addresses this issue and proposes a series of approaches in both architecture designs and training schemes which can be adopted together to boost the generalization performance across different network architectures on the distilled training data. We conduct extensive experiments to demonstrate the effectiveness and generality of our methods. Particularly, across various scenarios involving different sizes of distilled data, our approaches achieve comparable or superior performance to existing methods when training on the distilled data using networks with larger capacities.
• Abstract（参考訳）: データセットの蒸留法は、非常に限られたトレーニングデータで訓練されたニューラルネットワークの顕著な性能を示している。 特定のネットワークアーキテクチャ(例えば、トレーニングネットワーク)によって合成された蒸留されたトレーニングデータは、他のネットワークアーキテクチャ(例えば、テストネットワーク)によってトレーニングされた場合、性能が低下する。 本稿では, 蒸留訓練データ上で異なるネットワークアーキテクチャをまたいだ一般化性能を向上させるため, アーキテクチャ設計とトレーニングスキームの両方において, 一連のアプローチを提案する。 提案手法の有効性と汎用性を実証するための広範な実験を行った。 特に, 蒸留データの大きさの異なる様々なシナリオにおいて, 蒸留データに対するトレーニングにおいて, 既存の手法と同等ないし優れた性能を達成している。

関連論文リスト

• Uncertainty estimation via ensembles of deep learning models and dropout layers for seismic traces [27.619194576741673]
  本研究では, 第一運動極性に基づく地震波形の分類を行うために, 畳み込みニューラルネットワーク(CNN)を開発した。 我々は不確実性を推定するためにネットワークのアンサンブルを構築した。 ネットワークのアンサンブルの不確実性推定能力は,ドロップアウト層を用いて向上することができる。
  論文  参考訳（メタデータ） (2024-10-08T15:22:15Z)
• Efficient and Accurate Hyperspectral Image Demosaicing with Neural Network Architectures [3.386560551295746]
  本研究では,ハイパースペクトル画像復調におけるニューラルネットワークアーキテクチャの有効性について検討した。 様々なネットワークモデルと修正を導入し、それらを従来の手法や既存の参照ネットワークアプローチと比較する。 その結果、我々のネットワークは、例外的な性能を示す両方のデータセットにおいて、参照モデルよりも優れるか、一致していることがわかった。
  論文  参考訳（メタデータ） (2023-12-21T08:02:49Z)
• PDFNet: Pointwise Dense Flow Network for Urban-Scene Segmentation [0.0]
  我々はポイントワイド高密度フローネットワーク(PDFNet)という新しい軽量アーキテクチャを提案する。 PDFNetでは、ネットワークのすべての部分へのスムーズな勾配流を可能にするために、密集、残留、複数ショートカット接続を使用します。 提案手法は,小規模なクラスや少数のデータレギュレーションにおいて,ベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2021-09-21T10:39:46Z)
• Unsupervised Domain-adaptive Hash for Networks [81.49184987430333]
  ドメイン適応型ハッシュ学習はコンピュータビジョンコミュニティでかなりの成功を収めた。 UDAHと呼ばれるネットワークのための教師なしドメイン適応型ハッシュ学習手法を開発した。
  論文  参考訳（メタデータ） (2021-08-20T12:09:38Z)
• Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition [77.95361323613147]
  現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。 本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。 本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
  論文  参考訳（メタデータ） (2021-03-31T08:15:17Z)
• Task-Adaptive Neural Network Retrieval with Meta-Contrastive Learning [34.27089256930098]
  本稿では,与えられたタスクに対して最適な事前学習ネットワークを検索するニューラルネットワーク検索手法を提案する。 データセットとネットワークとの類似性を最大化するために、コントラスト損失を伴うクロスモーダルな潜在空間をメタラーニングすることによって、このフレームワークを訓練する。 提案手法の有効性を,既存のNASベースラインに対して10個の実世界のデータセット上で検証する。
  論文  参考訳（メタデータ） (2021-03-02T06:30:51Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。