論文の概要: Sparsifying networks by traversing Geodesics

• arxiv url: http://arxiv.org/abs/2012.09605v1
• Date: Sat, 12 Dec 2020 21:39:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-10 06:15:30.144122
• Title: Sparsifying networks by traversing Geodesics
• Title（参考訳）: 測地線を横断するスポーリングネットワーク
• Authors: Guruprasad Raghavan, Matt Thomson
• Abstract要約: 本稿では、幾何学のレンズを通してMLで解き放たれた疑問を視ることによって解決しようとする。 関数空間内の測地線を評価するための数学的枠組みを提案し、高密度ネットワークからスパーサーへの高性能経路を探索する。
• 参考スコア（独自算出の注目度）: 6.09170287691728
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The geometry of weight spaces and functional manifolds of neural networks play an important role towards 'understanding' the intricacies of ML. In this paper, we attempt to solve certain open questions in ML, by viewing them through the lens of geometry, ultimately relating it to the discovery of points or paths of equivalent function in these spaces. We propose a mathematical framework to evaluate geodesics in the functional space, to find high-performance paths from a dense network to its sparser counterpart. Our results are obtained on VGG-11 trained on CIFAR-10 and MLP's trained on MNIST. Broadly, we demonstrate that the framework is general, and can be applied to a wide variety of problems, ranging from sparsification to alleviating catastrophic forgetting.
• Abstract（参考訳）: 重み空間の幾何学とニューラルネットワークの関数多様体は、MLの複雑さを「理解」するために重要な役割を果たす。 本稿では、幾何のレンズを通してそれらを観察し、最終的にこれらの空間における同値な函数の点や経路の発見に関連付けることで、mlにおけるある種の問題を解くことを試みる。 本研究では,関数空間における測地線を評価するための数学的枠組みを提案し,高密度ネットワークからスパルサーネットワークへの高速経路を求める。 CIFAR-10 で訓練した VGG-11 と MNIST で訓練した MLP について検討した。 広範に、このフレームワークは一般的なものであり、スパシフィケーションから破滅的な忘れの軽減まで幅広い問題に適用可能であることを実証する。

関連論文リスト

• Landscaping Linear Mode Connectivity [76.39694196535996]
  線形モード接続(LMC)は理論と実用の両方の観点から関心を集めている。 ロスランドスケープがLCCに対して地形的にどのように振る舞う必要があるかのモデルを提供することで、その理解に向けて一歩前進する。
  論文  参考訳（メタデータ） (2024-06-24T03:53:30Z)
• Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
  機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。 いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
  論文  参考訳（メタデータ） (2024-02-21T18:35:27Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Equivariant Architectures for Learning in Deep Weight Spaces [54.61765488960555]
  重み空間の学習のための新しいネットワークアーキテクチャを提案する。 入力として、事前訓練された不変量の重みとバイアスの連結をとる。 これらのレイヤを3つの基本的な操作で実装する方法を示す。
  論文  参考訳（メタデータ） (2023-01-30T10:50:33Z)
• Sheaf Neural Networks with Connection Laplacians [3.3414557160889076]
  シーフニューラルネットワーク(英: Sheaf Neural Network、略称:SNN)は、グラフニューラルネットワークの一種で、グラフにノードとエッジにベクトル空間とそれらの空間の間の線形写像を割り当てるオブジェクトである。 それまでの研究では、ドメイン知識に基づいたシーフを手作業で構築することと、勾配に基づく手法によるシーフエンドツーエンドの学習という2つのダイメトリックなアプローチが提案されていた。 本研究ではリーマン幾何学から着想を得た新しい計算方法を提案する。 提案手法は,従来のSNNモデルと比較して計算オーバーヘッドが少なく,有望な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-17T11:39:52Z)
• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)
• Geometry-Aware Hierarchical Bayesian Learning on Manifolds [5.182379239800725]
  多様体値の視覚データに基づく学習のための階層型ベイズ学習モデルを提案する。 まず、幾何学的認識とカーネル内畳み込みの性質を持つカーネルを導入する。 次に、ガウス過程回帰を用いて入力を整理し、最終的に特徴集約のための階層的ベイズネットワークを実装する。
  論文  参考訳（メタデータ） (2021-10-30T05:47:05Z)
• Localized Persistent Homologies for more Effective Deep Learning [60.78456721890412]
  ネットワークトレーニング中の位置を考慮に入れた新しいフィルタ機能を利用する手法を提案する。 この方法で訓練されたネットワークが抽出した曲線構造のトポロジを回復するのに役立つ道路の2次元画像と神経過程の3次元画像スタックを実験的に実証した。
  論文  参考訳（メタデータ） (2021-10-12T19:28:39Z)
• Solving hybrid machine learning tasks by traversing weight space geodesics [6.09170287691728]
  機械学習の問題は、ニューラルネットワークの重み空間を含む中心的な対象として固有の幾何学的構造を持つ。 本稿では,機械学習の目的を統一し,複数のクラスニューラルネットワークアーキテクチャに適用可能な幾何学的フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-05T04:37:03Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。