論文の概要: The Propensity for Density in Feed-forward Models

• arxiv url: http://arxiv.org/abs/2410.14461v1
• Date: Fri, 18 Oct 2024 13:40:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:26:28.278426
• Title: The Propensity for Density in Feed-forward Models
• Title（参考訳）: フィードフォワードモデルにおける密度の確率
• Authors: Nandi Schoots, Alex Jackson, Ali Kholmovaia, Peter McBurney, Murray Shanahan,
• Abstract要約: 本研究は, 幅を変えながら, 完全連結, 畳み込み, 残差モデルの効果について検討する。 性能を劣化させることなく刈り取ることができる重量の割合はモデルサイズに大きく変化しないことがわかった。
• 参考スコア（独自算出の注目度）: 9.360554654061607
• License:
• Abstract: Does the process of training a neural network to solve a task tend to use all of the available weights even when the task could be solved with fewer weights? To address this question we study the effects of pruning fully connected, convolutional and residual models while varying their widths. We find that the proportion of weights that can be pruned without degrading performance is largely invariant to model size. Increasing the width of a model has little effect on the density of the pruned model relative to the increase in absolute size of the pruned network. In particular, we find substantial prunability across a large range of model sizes, where our biggest model is 50 times as wide as our smallest model. We explore three hypotheses that could explain these findings.
• Abstract（参考訳）: ニューラルネットワークをトレーニングしてタスクを解決するプロセスは、タスクがより少ないウェイトで解決できる場合でも、利用可能なすべてのウェイトを使用する傾向がありますか? この問題に対処するために, 幅を変えながら, 完全連結, 畳み込み, 残差モデルが与える影響について検討する。 性能を劣化させることなく刈り取ることができる重量の割合はモデルサイズに大きく変化しないことがわかった。 モデル幅の増大は、プルーンドネットワークの絶対サイズの増加に対するプルーンドモデルの密度にはほとんど影響しない。 特に、我々の最も大きなモデルは、我々の最小のモデルの50倍の幅を持つ、広範囲のモデルサイズにわたる実質的な実行可能性を見出した。 これらの発見を説明できる3つの仮説を探索する。

関連論文リスト

• Representing Model Weights with Language using Tree Experts [39.90685550999956]
  本稿では,モデル重みと言語の両方を組み込んだ共同空間内のモデルを表現することを学ぶ。 Probing Experts (ProbeX) は理論的に動機づけられた軽量な探査手法である。 以上の結果から, ProbeX は大規模モデルの重みを共有重み付き埋め込み空間に効果的にマッピングできることが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:17:09Z)
• Reusing Pretrained Models by Multi-linear Operators for Efficient Training [65.64075958382034]
  大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。 bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。 本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-16T06:16:47Z)
• Small-footprint slimmable networks for keyword spotting [3.0825815617887415]
  我々は、スリムなニューラルネットワークによって、Convolutioanl Neural NetworksとTransformerからスーパーネットを作成することができることを示した。 これらのモデルが社内のAlexaデータとGoogle Speech Commandsで有用であることを示し、オンデバイスユースケースのモデルに注力する。
  論文  参考訳（メタデータ） (2023-04-21T12:59:37Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• PLATON: Pruning Large Transformer Models with Upper Confidence Bound of Weight Importance [114.1541203743303]
  本稿では,重要度推定の上位信頼度境界(UCB)による重要度スコアの不確かさを捉えるPLATONを提案する。 我々は、自然言語理解、質問応答、画像分類に関するトランスフォーマーモデルを用いて、広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2022-06-25T05:38:39Z)
• Predicting on the Edge: Identifying Where a Larger Model Does Better [61.793778186198864]
  小型モデルが最も不確実な例では,大規模モデルが最も改善されていることを示す。 小型モデルが不確実な場合,サンプルを大モデルにデフェクトするスイッチャーモデルにより,性能と資源利用の大幅な向上が達成できることを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:53:14Z)
• Network Augmentation for Tiny Deep Learning [73.57192520534585]
  ニューラルネットワークの性能向上のための新しいトレーニング手法であるNetAug(Net Aug)を紹介する。 画像分類と物体検出におけるNetAugの有効性を示す。
  論文  参考訳（メタデータ） (2021-10-17T18:48:41Z)
• When Ensembling Smaller Models is More Efficient than Single Large Models [52.38997176317532]
  アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。 これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
  論文  参考訳（メタデータ） (2020-05-01T18:56:18Z)
• Learning Interpretable Models Using Uncertainty Oracles [12.879371384378164]
  解釈可能なモデルの望ましい性質は、人間によって容易に理解できるように、小さなサイズである。 a) 小さいサイズが正確さを暗示し、(b) サイズを制限するモデルファミリが提供するビースルークレバーは、望ましいサイズ精度のトレードオフに達するには不十分である。
  論文  参考訳（メタデータ） (2019-06-17T05:53:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。