論文の概要: Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation

• arxiv url: http://arxiv.org/abs/2203.16687v1
• Date: Wed, 30 Mar 2022 21:47:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-02 08:53:36.366486
• Title: Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation
• Title（参考訳）: 学習と一般化の尺度としての準直交性と内在次元
• Authors: Qinghua Zhou, Alexander N. Gorban, Evgeny M. Mirkes, Jonathan Bac, Andrei Zinovyev, Ivan Y. Tyukin
• Abstract要約: ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
• 参考スコア（独自算出の注目度）: 55.80128181112308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finding best architectures of learning machines, such as deep neural networks, is a well-known technical and theoretical challenge. Recent work by Mellor et al (2021) showed that there may exist correlations between the accuracies of trained networks and the values of some easily computable measures defined on randomly initialised networks which may enable to search tens of thousands of neural architectures without training. Mellor et al used the Hamming distance evaluated over all ReLU neurons as such a measure. Motivated by these findings, in our work, we ask the question of the existence of other and perhaps more principled measures which could be used as determinants of success of a given neural architecture. In particular, we examine, if the dimensionality and quasi-orthogonality of neural networks' feature space could be correlated with the network's performance after training. We showed, using the setup as in Mellor et al, that dimensionality and quasi-orthogonality may jointly serve as network's performance discriminants. In addition to offering new opportunities to accelerate neural architecture search, our findings suggest important relationships between the networks' final performance and properties of their randomly initialised feature spaces: data dimension and quasi-orthogonality.
• Abstract（参考訳）: 深層ニューラルネットワークのような学習機械の最良のアーキテクチャを見つけることは、技術的、理論的によく知られた課題である。 Mellor et al (2021) による最近の研究は、訓練されたネットワークの精度とランダムに初期化されたネットワーク上で定義されたいくつかの計算可能な測定値の間に相関関係があることを示し、トレーニングなしで何万ものニューラルネットワークを探索できる可能性がある。 Mellorらは全てのReLUニューロンで評価されたハミング距離をそのような尺度として用いた。 これらの知見に触発されて、我々の研究で、与えられた神経アーキテクチャの成功の決定要因として使用できる他の、おそらくはより原理化された尺度の存在について疑問を呈する。 特に,ニューラルネットワークの特徴空間の次元性と準直交性が,トレーニング後のネットワークの性能と相関するかどうかを検討した。 我々は,Mellorなどの設定を用いて,次元性や準直交性がネットワークの性能差別要因として機能することを示した。 ニューラルアーキテクチャ探索を加速する新たな機会を提供するとともに、ネットワークの最終性能とランダムに初期化された特徴空間(データ次元と準直交性)の特性との間に重要な関係があることを示唆する。

関連論文リスト

• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Memorization with neural nets: going beyond the worst case [5.662924503089369]
  実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。 しかし、実世界のデータについては、暗記能力によって提案されるよりもネットワークサイズが小さいような良質な構造の存在を直感的に期待する。 2つのクラスを持つ固定有限データセットを与えられた場合、高い確率で3層ニューラルネットワークを時間内に補間する単純なランダム化アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-09-30T10:06:05Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Solving hybrid machine learning tasks by traversing weight space geodesics [6.09170287691728]
  機械学習の問題は、ニューラルネットワークの重み空間を含む中心的な対象として固有の幾何学的構造を持つ。 本稿では,機械学習の目的を統一し,複数のクラスニューラルネットワークアーキテクチャに適用可能な幾何学的フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-05T04:37:03Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Interpretable Models for Coupled Networks Under Domain Constraints [8.308385006727702]
  脳ネットワークの構造的エッジと機能的エッジの相互作用に着目して,結合ネットワークの概念を検討する。 相互作用を推定しながらノイズ項にハードネットワークの制約を課す新しい定式化を提案する。 ヒトコネクトームプロジェクトから得られたマルチシェル拡散およびタスク誘発fMRIデータセットの手法を検証する。
  論文  参考訳（メタデータ） (2021-04-19T06:23:31Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。