論文の概要: Improved Generalization of Weight Space Networks via Augmentations

• arxiv url: http://arxiv.org/abs/2402.04081v2
• Date: Sat, 09 Nov 2024 22:09:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:05:17.793973
• Title: Improved Generalization of Weight Space Networks via Augmentations
• Title（参考訳）: 拡張による軽量空間ネットワークの一般化
• Authors: Aviv Shamsian, Aviv Navon, David W. Zhang, Yan Zhang, Ethan Fetaya, Gal Chechik, Haggai Maron,
• Abstract要約: 深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用 我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。 そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
• 参考スコア（独自算出の注目度）: 53.87011906358727
• License:
• Abstract: Learning in deep weight spaces (DWS), where neural networks process the weights of other neural networks, is an emerging research direction, with applications to 2D and 3D neural fields (INRs, NeRFs), as well as making inferences about other types of neural networks. Unfortunately, weight space models tend to suffer from substantial overfitting. We empirically analyze the reasons for this overfitting and find that a key reason is the lack of diversity in DWS datasets. While a given object can be represented by many different weight configurations, typical INR training sets fail to capture variability across INRs that represent the same object. To address this, we explore strategies for data augmentation in weight spaces and propose a MixUp method adapted for weight spaces. We demonstrate the effectiveness of these methods in two setups. In classification, they improve performance similarly to having up to 10 times more data. In self-supervised contrastive learning, they yield substantial 5-10% gains in downstream classification.
• Abstract（参考訳）: ニューラルネットワークが他のニューラルネットワークの重みを処理する深度重み空間(DWS)での学習は、新たな研究方向であり、2Dおよび3Dニューラルネットワーク(INR、NeRF)への応用と、他のタイプのニューラルネットワークに関する推論を行う。 残念ながら、重量空間モデルはかなりの過度なオーバーフィッティングに悩まされる傾向がある。 我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。 与えられたオブジェクトは、多くの異なる重み設定で表現できるが、典型的なINRトレーニングセットは、同じオブジェクトを表すINR間でのばらつきを捉えない。 そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。 提案手法の有効性を2つの設定で示す。 分類では、最大10倍のデータを持つのと同様、パフォーマンスが向上する。 自己指導型コントラスト学習では、下流の分類において、かなりの5-10%の利得が得られる。

関連論文リスト

• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Data Augmentations in Deep Weight Spaces [89.45272760013928]
  そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。 既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-11-15T10:43:13Z)
• Beyond IID weights: sparse and low-rank deep Neural Networks are also Gaussian Processes [3.686808512438363]
  我々は Matthews らの証明を、より大きな初期重み分布のクラスに拡張する。 また,PSEUDO-IID分布を用いた完全連結・畳み込みネットワークは,その分散にほぼ等価であることを示す。 この結果を用いて、ニューラルネットワークの幅広いクラスに対してEdge-of-Chaosを識別し、トレーニングを強化するために臨界度で調整することができる。
  論文  参考訳（メタデータ） (2023-10-25T12:38:36Z)
• Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
  我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。 標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:52:04Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• An Experimental Study of the Impact of Pre-training on the Pruning of a Convolutional Neural Network [0.0]
  近年、ディープニューラルネットワークは様々なアプリケーション領域で広く成功している。 ディープニューラルネットワークは通常、ネットワークの重みに対応する多数のパラメータを含む。 プルーニング法は特に、無関係な重みを識別して取り除くことにより、パラメータセットのサイズを減らそうとしている。
  論文  参考訳（メタデータ） (2021-12-15T16:02:15Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• Classifying the classifier: dissecting the weight space of neural networks [16.94879659770577]
  本稿では,ニューラルネットワークの重みに関する実証的研究について述べる。 それぞれのモデルを高次元空間、すなわちニューラルウェイト空間の点として解釈する。 重み空間に関するさらなる研究を促進するため、我々はニューラルウェイト空間(NWS)データセットをリリースする。
  論文  参考訳（メタデータ） (2020-02-13T18:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。