論文の概要: Linear Mode Connectivity in Sparse Neural Networks

• arxiv url: http://arxiv.org/abs/2310.18769v1
• Date: Sat, 28 Oct 2023 17:51:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 16:44:07.152882
• Title: Linear Mode Connectivity in Sparse Neural Networks
• Title（参考訳）: スパースニューラルネットワークにおける線形モード接続
• Authors: Luke McDermott, Daniel Cummings
• Abstract要約: 合成データによるニューラルネットワークのプルーニングが、ユニークなトレーニング特性を持つスパースネットワークにどのように影響するかを考察する。 これらの特性は、蒸留データを適用した設定において、従来のIMPのパフォーマンスを最大150倍のトレーニングポイントで整合させる合成作業に繋がることがわかった。
• 参考スコア（独自算出の注目度）: 1.30536490219656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rise in interest of sparse neural networks, we study how neural network pruning with synthetic data leads to sparse networks with unique training properties. We find that distilled data, a synthetic summarization of the real data, paired with Iterative Magnitude Pruning (IMP) unveils a new class of sparse networks that are more stable to SGD noise on the real data, than either the dense model, or subnetworks found with real data in IMP. That is, synthetically chosen subnetworks often train to the same minima, or exhibit linear mode connectivity. We study this through linear interpolation, loss landscape visualizations, and measuring the diagonal of the hessian. While dataset distillation as a field is still young, we find that these properties lead to synthetic subnetworks matching the performance of traditional IMP with up to 150x less training points in settings where distilled data applies.
• Abstract（参考訳）: スパースニューラルネットワークの関心が高まり、合成データによるニューラルネットワークのプルーニングが、独自のトレーニング特性を持つスパースネットワークにどのように寄与するかを研究する。 実データの合成要約である蒸留データと反復的マグニチュードプルーニング(imp)を組み合わせることにより,実データに対するsgdノイズに対する安定性が向上する新たなクラスのスパースネットワークが,密度モデルやimp内の実データで検出されるサブネットワークよりも明らかにされる。 つまり、合成的に選択されたサブネットワークは、しばしば同じミニマにトレーニングするか、線形モード接続を示す。 我々は,線形補間,ロスランドスケープの可視化,ヘシアンの対角方向の計測を通じてこれを研究する。 フィールドとしてのデータセットの蒸留はまだ若いが、これらの性質は、蒸留データが適用される設定において、従来のIMPのパフォーマンスを最大150倍のトレーニングポイントで一致させる合成サブネットに繋がる。

関連論文リスト

• NIDS Neural Networks Using Sliding Time Window Data Processing with Trainable Activations and its Generalization Capability [0.0]
  本稿では,ネットワーク侵入検知システム(NIDS)のためのニューラルネットワークについて述べる。 ディープパケットインスペクションに頼らず、ほとんどのNIDSデータセットで見つからず、従来のフローコレクタから簡単に取得できる11の機能しか必要としない。 報告されたトレーニング精度は、提案手法の99%を超え、ニューラルネットワークの入力特性は20に満たない。
  論文  参考訳（メタデータ） (2024-10-24T11:36:19Z)
• Steinmetz Neural Networks for Complex-Valued Data [23.80312814400945]
  並列実値デッツワークと結合出力からなるDNNを用いて複素値データを処理する新しい手法を提案する。 提案するアーキテクチャのクラスは、Steinmetz Neural Networksと呼ばれ、多視点学習を利用して、潜在空間内でより解釈可能な表現を構築する。 提案手法は,これらのネットワークがベンチマーク・データセットや合成例で実現した改良性能と付加雑音を示す数値実験である。
  論文  参考訳（メタデータ） (2024-09-16T08:26:06Z)
• SynA-ResNet: Spike-driven ResNet Achieved through OR Residual Connection [10.702093960098104]
  スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。 ORRC(Residual Connection)を通じて大量の冗長情報を蓄積する新しいトレーニングパラダイムを提案する。 次に,SynA(SynA)モジュールを用いて冗長情報をフィルタリングし,背骨における特徴抽出を促進するとともに,ショートカットにおけるノイズや無駄な特徴の影響を抑える。
  論文  参考訳（メタデータ） (2023-11-11T13:36:27Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Exploring explicit coarse-grained structure in artificial neural networks [0.0]
  本稿では, ニューラルネットワークの階層的粗粒度構造を用いて, 性能を劣化させることなく, 解釈性を向上させることを提案する。 ひとつはTaylorNetと呼ばれるニューラルネットワークで、入力データから出力結果への一般的なマッピングを直接テイラー級数で近似することを目的としている。 もう1つはデータ蒸留のための新しいセットアップで、入力データセットのマルチレベル抽象化を実行し、新しいデータを生成することができる。
  論文  参考訳（メタデータ） (2022-11-03T13:06:37Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Finding trainable sparse networks through Neural Tangent Transfer [16.092248433189816]
  深層学習において、特定のタスクでうまく機能する訓練可能なスパースネットワークは通常、ラベル依存プルーニング基準を用いて構築される。 本稿では,学習可能なスパースネットワークをラベルフリーで検出する手法であるNeural Tangent Transferを紹介する。
  論文  参考訳（メタデータ） (2020-06-15T08:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。