論文の概要: Metric Space Magnitude and Generalisation in Neural Networks

• arxiv url: http://arxiv.org/abs/2305.05611v1
• Date: Tue, 9 May 2023 17:04:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 12:03:38.525820
• Title: Metric Space Magnitude and Generalisation in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける距離空間のマグニチュードと一般化
• Authors: Rayna Andreeva and Katharina Limbeck and Bastian Rieck and Rik Sarkar
• Abstract要約: この研究は、マグニチュードと呼ばれる新しい位相不変量のレンズを通して、ディープニューラルネットワークの学習過程を定量化する。 本研究では,ニューラルネットワークの内部表現の研究に規模を用い,その一般化能力を決定するための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 12.110483221042903
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models have seen significant successes in numerous applications, but their inner workings remain elusive. The purpose of this work is to quantify the learning process of deep neural networks through the lens of a novel topological invariant called magnitude. Magnitude is an isometry invariant; its properties are an active area of research as it encodes many known invariants of a metric space. We use magnitude to study the internal representations of neural networks and propose a new method for determining their generalisation capabilities. Moreover, we theoretically connect magnitude dimension and the generalisation error, and demonstrate experimentally that the proposed framework can be a good indicator of the latter.
• Abstract（参考訳）: ディープラーニングモデルは多くのアプリケーションで大きな成功を収めてきたが、その内部動作はいまだ解明されていない。 この研究の目的は、マグニチュードと呼ばれる新しい位相不変量のレンズを通して深層ニューラルネットワークの学習プロセスを定量化することである。 マグニチュードは等距離不変量であり、その性質は計量空間の既知の不変量の多くを符号化する研究の活発な領域である。 ニューラルネットワークの内部表現の研究にマグニチュードを用い,その一般化能力を決定する新しい手法を提案する。 さらに,理論上は等級次元と一般化誤差を結合し,提案手法が後者のよい指標となることを示す。

関連論文リスト

• A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes [49.32130498861987]
  本稿ではReLUのような非微分可能活性化関数の事例について検討する。 最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。 本稿では,画像の分類と熱力学問題に関する数値実験を行った。
  論文  参考訳（メタデータ） (2024-04-09T08:11:46Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• On the Approximation and Complexity of Deep Neural Networks to Invariant Functions [0.0]
  深部ニューラルネットワークの不変関数への近似と複雑性について検討する。 様々なタイプのニューラルネットワークモデルにより、幅広い不変関数を近似できることを示す。 我々は,高分解能信号のパラメータ推定と予測を理論的結論と結びつけることが可能なアプリケーションを提案する。
  論文  参考訳（メタデータ） (2022-10-27T09:19:19Z)
• Gaussian Process Surrogate Models for Neural Networks [6.8304779077042515]
  科学と工学において、モデリング(英: modeling)とは、内部プロセスが不透明な複雑なシステムを理解するために用いられる方法論である。 本稿では,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築する。 提案手法は,ニューラルネットワークのスペクトルバイアスに関連する既存の現象を捕捉し,サロゲートモデルを用いて現実的な問題を解決することを実証する。
  論文  参考訳（メタデータ） (2022-08-11T20:17:02Z)
• Topology and geometry of data manifold in deep learning [0.0]
  本稿では,ニューラルネットワークの学習過程の幾何学的および位相的視点について述べる。 我々は、さまざまなデータセットと畳み込みニューラルネットワークアーキテクチャの異なる構成に関する幅広い実験を提示する。 我々の研究は、コンピュータビジョンの例を通して、説明可能な、解釈可能なAIの重要な分野の発展に寄与している。
  論文  参考訳（メタデータ） (2022-04-19T02:57:47Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。