論文の概要: Revealing the Utilized Rank of Subspaces of Learning in Neural Networks

• arxiv url: http://arxiv.org/abs/2407.04797v1
• Date: Fri, 5 Jul 2024 18:14:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 22:36:40.214241
• Title: Revealing the Utilized Rank of Subspaces of Learning in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける学習のサブスペース利用ランクの探索
• Authors: Isha Garg, Christian Koguchi, Eshan Verma, Daniel Ulbricht,
• Abstract要約: ニューラルネットワークの学習重量が、利用可能な空間をどのように活用するかを研究する。 ほとんどの学習された重みはフルランクのように見えるため、低ランクの分解には耐えられない。 データと重みが相互作用する部分空間に重みを投影する単純なデータ駆動変換を提案する。
• 参考スコア（独自算出の注目度）: 3.4133351364625275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we study how well the learned weights of a neural network utilize the space available to them. This notion is related to capacity, but additionally incorporates the interaction of the network architecture with the dataset. Most learned weights appear to be full rank, and are therefore not amenable to low rank decomposition. This deceptively implies that the weights are utilizing the entire space available to them. We propose a simple data-driven transformation that projects the weights onto the subspace where the data and the weight interact. This preserves the functional mapping of the layer and reveals its low rank structure. In our findings, we conclude that most models utilize a fraction of the available space. For instance, for ViTB-16 and ViTL-16 trained on ImageNet, the mean layer utilization is 35% and 20% respectively. Our transformation results in reducing the parameters to 50% and 25% respectively, while resulting in less than 0.2% accuracy drop after fine-tuning. We also show that self-supervised pre-training drives this utilization up to 70%, justifying its suitability for downstream tasks.
• Abstract（参考訳）: 本研究では、ニューラルネットワークの学習重量が、利用可能な空間をどのように活用するかを研究する。 この概念はキャパシティに関連しているが、ネットワークアーキテクチャとデータセットの相互作用も含んでいる。 ほとんどの学習された重みはフルランクのように見えるため、低ランクの分解には耐えられない。 これは、重みが利用可能な空間全体を活用していることを暗示している。 データと重みが相互作用する部分空間に重みを投影する単純なデータ駆動変換を提案する。 これは層の関数写像を保存し、その低階構造を明らかにする。 以上の結果から,ほとんどのモデルでは利用可能な空間のごく一部を利用できると結論付けている。 例えば、ImageNetでトレーニングされたViTB-16とViTL-16では、平均層利用率は35%と20%である。 その結果,パラメータは50%,25%に減少し,微調整後の精度は0.2%以下に低下した。 また、自己指導型事前学習が、この利用率を最大70%まで押し上げ、下流タスクへの適合性を正当化することを示した。

関連論文リスト

• Neural Metamorphosis [72.88137795439407]
  本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
  論文  参考訳（メタデータ） (2024-10-10T14:49:58Z)
• Weights Augmentation: it has never ever ever ever let her model down [1.5020330976600735]
  本稿では,重量増大の概念を,重量探査に焦点をあてて提案する。 ウェイト増強戦略(Weight Augmentation Strategy, WAS)とは、損失関数の計算に使用できるネットワークに対して、ランダムに変換されたウェイト係数のトレーニングと変換を行う手法である。 我々の実験結果は、VGG-16、ResNet-18、ResNet-34、GoogleNet、MobilementV2、Efficientment-Liteといった畳み込みニューラルネットワークが、ほとんど、あるいは全くコストがかからないことを示しています。
  論文  参考訳（メタデータ） (2024-05-30T00:57:06Z)
• Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
  深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用 我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。 そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
  論文  参考訳（メタデータ） (2024-02-06T15:34:44Z)
• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• Data Augmentations in Deep Weight Spaces [89.45272760013928]
  そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。 既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-11-15T10:43:13Z)
• Diffused Redundancy in Pre-trained Representations [98.55546694886819]
  事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。 与えられた層における学習された表現は拡散冗長性を示す。 我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
  論文  参考訳（メタデータ） (2023-05-31T21:00:50Z)
• Gradient-based Weight Density Balancing for Robust Dynamic Sparse Training [59.48691524227352]
  スパースニューラルネットワークをゼロからトレーニングするには、接続自体と同時にコネクションを最適化する必要がある。 トレーニング中に各レイヤ間の接続は複数回最適化されるが、各レイヤの密度は通常一定である。 我々は、すべての層に重みを分散するテクニックであるGlobal Gradient-based Redistributionを提案する。
  論文  参考訳（メタデータ） (2022-10-25T13:32:09Z)
• Knowledge Evolution in Neural Networks [39.52537143009937]
  比較的小さなデータセットのパフォーマンスを高めるために,進化に触発されたトレーニングアプローチを提案する。 複数の世代のリセット仮説を摂動させることで、フィット仮説の知識を反復的に進化させます。 このアプローチはパフォーマンスを向上させるだけでなく、より小さな推論コストでスリムなネットワークを学習する。
  論文  参考訳（メタデータ） (2021-03-09T00:25:34Z)
• Compression-aware Continual Learning using Singular Value Decomposition [2.4283778735260686]
  本稿では,ニューラルネットワークを動的に成長させる圧縮型連続タスク学習手法を提案する。 近年のモデル圧縮技術にインスパイアされた我々は、圧縮認識トレーニングを採用し、低ランク重量近似を行う。 本手法は,コストのかかる微調整を必要とせず,最小性能の圧縮表現を実現する。
  論文  参考訳（メタデータ） (2020-09-03T23:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。