論文の概要: Solving hybrid machine learning tasks by traversing weight space geodesics

• arxiv url: http://arxiv.org/abs/2106.02793v1
• Date: Sat, 5 Jun 2021 04:37:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-14 08:47:27.666778
• Title: Solving hybrid machine learning tasks by traversing weight space geodesics
• Title（参考訳）: 重み空間測地観測によるハイブリッド機械学習タスクの解法
• Authors: Guruprasad Raghavan, Matt Thomson
• Abstract要約: 機械学習の問題は、ニューラルネットワークの重み空間を含む中心的な対象として固有の幾何学的構造を持つ。 本稿では,機械学習の目的を統一し,複数のクラスニューラルネットワークアーキテクチャに適用可能な幾何学的フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.09170287691728
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning problems have an intrinsic geometric structure as central objects including a neural network's weight space and the loss function associated with a particular task can be viewed as encoding the intrinsic geometry of a given machine learning problem. Therefore, geometric concepts can be applied to analyze and understand theoretical properties of machine learning strategies as well as to develop new algorithms. In this paper, we address three seemingly unrelated open questions in machine learning by viewing them through a unified framework grounded in differential geometry. Specifically, we view the weight space of a neural network as a manifold endowed with a Riemannian metric that encodes performance on specific tasks. By defining a metric, we can construct geodesic, minimum length, paths in weight space that represent sets of networks of equivalent or near equivalent functional performance on a specific task. We, then, traverse geodesic paths while identifying networks that satisfy a second objective. Inspired by the geometric insight, we apply our geodesic framework to 3 major applications: (i) Network sparsification (ii) Mitigating catastrophic forgetting by constructing networks with high performance on a series of objectives and (iii) Finding high-accuracy paths connecting distinct local optima of deep networks in the non-convex loss landscape. Our results are obtained on a wide range of network architectures (MLP, VGG11/16) trained on MNIST, CIFAR-10/100. Broadly, we introduce a geometric framework that unifies a range of machine learning objectives and that can be applied to multiple classes of neural network architectures.
• Abstract（参考訳）: 機械学習問題は、ニューラルネットワークの重み空間を含む中心オブジェクトとしての本質的な幾何学的構造を持ち、特定のタスクに関連する損失関数は、与えられた機械学習問題の本質的な幾何学を符号化することができる。 したがって、幾何学的概念は、機械学習戦略の理論的性質の解析と理解、および新しいアルゴリズムの開発に応用できる。 本稿では,差分幾何学を基礎とした統一フレームワークを用いて,機械学習における3つの非関係なオープンな疑問に対処する。 具体的には、ニューラルネットワークの重み空間を、特定のタスクのパフォーマンスをエンコードするリーマン計量を備えた多様体として見る。 計量を定義することで、特定のタスク上で等価あるいはほぼ等価な機能性能のネットワークの集合を表す測地線、最小長、経路を重み空間内に構築できる。 そして,第2の目的を満たすネットワークを特定しながら,測地経路を横切る。 幾何学的洞察から着想を得た測地学の枠組みを3つの主要な応用に適用する: (i)ネットワークスペーシフィケーション (ii) 一連の目的に対して高い性能のネットワークを構築することで破滅的な忘れを軽減し、 (iii) 深層ネットワークの異なる局所最適性を接続する高精度パスを見つける。 この結果は,MNIST, CIFAR-10/100で訓練された幅広いネットワークアーキテクチャ(MLP, VGG11/16)で得られた。 広義には、機械学習の目的を統一し、ニューラルネットワークアーキテクチャの複数のクラスに適用可能な幾何学的フレームワークを導入する。

関連論文リスト

• Unsupervised Graph Attention Autoencoder for Attributed Networks using K-means Loss [0.0]
  我々は、属性付きネットワークにおけるコミュニティ検出のための、教師なしのtextbfGraph Attention textbfAutotextbfEncoder に基づく、シンプルで効率的なクラスタリング指向モデルを提案する。 提案モデルは,ネットワークのトポロジと属性情報の両方から表現を十分に学習し,同時に2つの目的,すなわち再構築とコミュニティ発見に対処する。
  論文  参考訳（メタデータ） (2023-11-21T20:45:55Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [49.808194368781095]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• Neural Networks as Paths through the Space of Representations [5.165741406553346]
  有用な表現のレイヤ・バイ・レイヤ構造を理解するための簡単なアイデアを考案する。 我々は、距離表現類似性に関する最近の研究を活用して、この直感的な「距離」の概念を定式化する。 このフレームワークにより、ディープニューラルネットワークによって実装された階層的な計算は、高次元の表現空間におけるパスと見なすことができる。
  論文  参考訳（メタデータ） (2022-06-22T11:59:10Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges [50.22269760171131]
  過去10年間、データサイエンスと機械学習の実験的な革命が、ディープラーニングの手法によって生まれた。 このテキストは、統一幾何学的原理によって事前に定義された規則性を公開することに関するものである。 CNN、RNN、GNN、Transformersなど、最も成功したニューラルネットワークアーキテクチャを研究するための一般的な数学的フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-04-27T21:09:51Z)
• Sparsifying networks by traversing Geodesics [6.09170287691728]
  本稿では、幾何学のレンズを通してMLで解き放たれた疑問を視ることによって解決しようとする。 関数空間内の測地線を評価するための数学的枠組みを提案し、高密度ネットワークからスパーサーへの高性能経路を探索する。
  論文  参考訳（メタデータ） (2020-12-12T21:39:19Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。