論文の概要: Generalization analysis with deep ReLU networks for metric and similarity learning
- arxiv url: http://arxiv.org/abs/2405.06415v1
- Date: Fri, 10 May 2024 11:55:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-13 15:48:10.118301
- Title: Generalization analysis with deep ReLU networks for metric and similarity learning
- Title（参考訳）: 距離・類似性学習のための深部ReLUネットワークを用いた一般化解析
- Authors: Junyu Zhou, Puyu Wang, Ding-Xuan Zhou,
- Abstract要約: 実測値の具体的な構造を利用して,計量と類似性学習の一般化性能について検討する。
我々の知る限りでは、これは計量と類似性学習のための過剰な一般化誤差を提供する最初の既知の一般化解析である。
- 参考スコア（独自算出の注目度）: 10.04587045407742
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While considerable theoretical progress has been devoted to the study of metric and similarity learning, the generalization mystery is still missing. In this paper, we study the generalization performance of metric and similarity learning by leveraging the specific structure of the true metric (the target function). Specifically, by deriving the explicit form of the true metric for metric and similarity learning with the hinge loss, we construct a structured deep ReLU neural network as an approximation of the true metric, whose approximation ability relies on the network complexity. Here, the network complexity corresponds to the depth, the number of nonzero weights and the computation units of the network. Consider the hypothesis space which consists of the structured deep ReLU networks, we develop the excess generalization error bounds for a metric and similarity learning problem by estimating the approximation error and the estimation error carefully. An optimal excess risk rate is derived by choosing the proper capacity of the constructed hypothesis space. To the best of our knowledge, this is the first-ever-known generalization analysis providing the excess generalization error for metric and similarity learning. In addition, we investigate the properties of the true metric of metric and similarity learning with general losses.
- Abstract（参考訳）: 計量と類似性学習の研究にかなりの理論的な進歩があったが、一般化ミステリーはいまだに欠落している。
本稿では,実測値(対象関数)の具体的な構造を利用して,計量と類似性学習の一般化性能について検討する。
具体的には、計量と類似性学習のための真の計量の明示的な形式をヒンジ損失と組み合わせることで、真の計量の近似として構造化された深部ReLUニューラルネットワークを構築し、近似能力はネットワークの複雑さに依存する。
ここでは、ネットワークの複雑さは、ネットワークの深さ、非ゼロ重みの数、および計算単位に対応する。
構造化された深部ReLUネットワークからなる仮説空間を考察し、近似誤差と推定誤差を慎重に推定することにより、計量および類似性学習問題に対する過剰な一般化誤差境界を開発する。
最適余剰リスク率は、構築された仮説空間の適切な容量を選択することによって導出される。
我々の知る限りでは、これは計量と類似性学習のための過剰な一般化誤差を提供する最初の既知の一般化解析である。
さらに、一般的な損失を伴う計量と類似性学習の真のメートル法の性質について検討する。
関連論文リスト
- Fine-grained analysis of non-parametric estimation for pairwise learning [9.676007573960383]
ペアワイズ学習における非パラメトリック推定の一般化性能について検討する。
我々の結果は、ランキング、AUC、ペアワイズ回帰、メートル法、類似性学習など、幅広いペアワイズ学習問題に対処するために利用できる。
論文 参考訳（メタデータ） (2023-05-31T08:13:14Z) - Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。
論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。
本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
論文 参考訳（メタデータ） (2023-05-19T08:22:23Z) - Deterministic equivalent and error universality of deep random features
learning [4.8461049669050915]
この問題は、広く研究されているランダム特徴モデルのより深いアーキテクチャへの自然な一般化と見なすことができる。
まず,学習者と対象ネットワークが同一の中間層を共有した普遍性リッジ設定において,テストエラーの普遍性を証明し,そのシャープな式を提供する。
第二に、任意の凸損失と一般的な学習/ターゲットアーキテクチャのより一般的な設定において、テストエラーの普遍性を予想する。
論文 参考訳（メタデータ） (2023-02-01T12:37:10Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Intrinsic Dimension, Persistent Homology and Generalization in Neural
Networks [19.99615698375829]
一般化誤差は 'peristent homology dimension' (PHD) という概念で等価に有界であることを示す。
我々は,現代のディープニューラルネットワークの規模でPHDを推定する効率的なアルゴリズムを開発した。
実験の結果,提案手法はネットワークの固有次元を様々な設定で効率的に計算できることがわかった。
論文 参考訳（メタデータ） (2021-11-25T17:06:15Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Compressive Sensing and Neural Networks from a Statistical Learning
Perspective [4.561032960211816]
線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。
現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
論文 参考訳（メタデータ） (2020-10-29T15:05:43Z) - In Search of Robust Measures of Generalization [79.75709926309703]
我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。
経験的に評価すると、これらの境界の大部分は数値的に空白である。
我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
論文 参考訳（メタデータ） (2020-10-22T17:54:25Z) - On the Predictability of Pruning Across Scales [29.94870276983399]
等級決定ネットワークの誤差は、アーキテクチャやタスクに依存する解釈可能な係数を持つスケーリング法則を経験的に従うことを示す。
ニューラルネットワークがより大きく、訓練にコストがかかるようになるにつれて、我々の発見は、非構造化プルーニングの標準的な方法に関する概念的かつ分析的な推論の枠組みを示唆している。
論文 参考訳（メタデータ） (2020-06-18T15:41:46Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。