論文の概要: Data Augmentations in Deep Weight Spaces

• arxiv url: http://arxiv.org/abs/2311.08851v1
• Date: Wed, 15 Nov 2023 10:43:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 16:21:49.084720
• Title: Data Augmentations in Deep Weight Spaces
• Title（参考訳）: 深度重み空間におけるデータ拡張
• Authors: Aviv Shamsian, David W. Zhang, Aviv Navon, Yan Zhang, Miltiadis Kofinas, Idan Achituve, Riccardo Valperga, Gertjan J. Burghouts, Efstratios Gavves, Cees G. M. Snoek, Ethan Fetaya, Gal Chechik, Haggai Maron
• Abstract要約: そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。 既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
• 参考スコア（独自算出の注目度）: 89.45272760013928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning in weight spaces, where neural networks process the weights of other deep neural networks, has emerged as a promising research direction with applications in various fields, from analyzing and editing neural fields and implicit neural representations, to network pruning and quantization. Recent works designed architectures for effective learning in that space, which takes into account its unique, permutation-equivariant, structure. Unfortunately, so far these architectures suffer from severe overfitting and were shown to benefit from large datasets. This poses a significant challenge because generating data for this learning setup is laborious and time-consuming since each data sample is a full set of network weights that has to be trained. In this paper, we address this difficulty by investigating data augmentations for weight spaces, a set of techniques that enable generating new data examples on the fly without having to train additional input weight space elements. We first review several recently proposed data augmentation schemes %that were proposed recently and divide them into categories. We then introduce a novel augmentation scheme based on the Mixup method. We evaluate the performance of these techniques on existing benchmarks as well as new benchmarks we generate, which can be valuable for future studies.
• Abstract（参考訳）: ニューラルネットワークが他のディープニューラルネットワークの重みを処理する重み空間での学習は、ニューラルネットワークの分析と編集、暗黙のニューラル表現、ネットワークプルーニングと量子化など、さまざまな分野の応用において有望な研究方向として現れている。 最近の作品は、そのユニークな置換同変構造を考慮した、その空間における効果的な学習のためのアーキテクチャを設計した。 残念なことに、これらのアーキテクチャは厳しい過剰フィッティングに苦しめられ、大規模なデータセットの恩恵を受けることが示された。 それぞれのデータサンプルはトレーニングが必要なネットワーク重みの完全なセットであるため、この学習セットアップのためのデータ生成には手間がかかり、時間を要するため、これは大きな課題となる。 本稿では,入力重み空間要素を訓練することなく,新しいデータ例をフライで生成できる一連の手法である重み空間のデータ拡張について検討することで,この課題に対処する。 まず、最近提案されたデータ拡張スキーム % をレビューし、それらをカテゴリに分類した。 次に,Mixup法に基づく新しい拡張手法を提案する。 我々は,これらの手法を既存のベンチマークや新しいベンチマークで評価し,今後の研究に有用であることを示す。

関連論文リスト

• Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
  深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用 我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。 そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
  論文  参考訳（メタデータ） (2024-02-06T15:34:44Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• What Can be Seen is What You Get: Structure Aware Point Cloud Augmentation [0.966840768820136]
  本稿では,データセットを人工的に多様化する新たなポイントクラウド拡張手法を提案する。 センサ中心の手法はライダーセンサーの機能とデータ構造を一致させる。 提案手法は,非常に小さなデータセットの使用,アノテーション時間,トレーニング時間,関連するコストの削減を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T09:10:59Z)
• MLDS: A Dataset for Weight-Space Analysis of Neural Networks [0.0]
  MLDSは、注意深く制御されたパラメータを持つ何千ものトレーニングニューラルネットワークからなる新しいデータセットである。 このデータセットは、モデル-to-modelとモデル-to-training-data関係に関する新たな洞察を可能にする。
  論文  参考訳（メタデータ） (2021-04-21T14:24:26Z)
• Dataset Condensation with Gradient Matching [36.14340188365505]
  本研究では,大規模なデータセットを,深層ニューラルネットワークをスクラッチからトレーニングするための情報的合成サンプルの小さなセットに凝縮させることを学習する,データセット凝縮という,データ効率のよい学習のためのトレーニングセット合成手法を提案する。 いくつかのコンピュータビジョンベンチマークでその性能を厳格に評価し、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-10T16:30:52Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Classifying the classifier: dissecting the weight space of neural networks [16.94879659770577]
  本稿では,ニューラルネットワークの重みに関する実証的研究について述べる。 それぞれのモデルを高次元空間、すなわちニューラルウェイト空間の点として解釈する。 重み空間に関するさらなる研究を促進するため、我々はニューラルウェイト空間(NWS)データセットをリリースする。
  論文  参考訳（メタデータ） (2020-02-13T18:12:02Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。