論文の概要: Dimension Free Generalization Bounds for Non Linear Metric Learning

• arxiv url: http://arxiv.org/abs/2102.03802v1
• Date: Sun, 7 Feb 2021 14:47:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-11 01:48:44.652710
• Title: Dimension Free Generalization Bounds for Non Linear Metric Learning
• Title（参考訳）: 非線形メトリック学習のための次元自由一般化境界
• Authors: Mark Kozdoba and Shie Mannor
• Abstract要約: 我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。 解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
• 参考スコア（独自算出の注目度）: 61.193693608166114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work we study generalization guarantees for the metric learning problem, where the metric is induced by a neural network type embedding of the data. Specifically, we provide uniform generalization bounds for two regimes -- the sparse regime, and a non-sparse regime which we term \emph{bounded amplification}. The sparse regime bounds correspond to situations where $\ell_1$-type norms of the parameters are small. Similarly to the situation in classification, solutions satisfying such bounds can be obtained by an appropriate regularization of the problem. On the other hand, unregularized SGD optimization of a metric learning loss typically does not produce sparse solutions. We show that despite this lack of sparsity, by relying on a different, new property of the solutions, it is still possible to provide dimension free generalization guarantees. Consequently, these bounds can explain generalization in non sparse real experimental situations. We illustrate the studied phenomena on the MNIST and 20newsgroups datasets.
• Abstract（参考訳）: 本研究では,データのニューラルネットワーク型埋め込みによってメトリックが誘導される計量学習問題に対する一般化保証について検討する。 具体的には、2つのレジーム - スパースレジーム、および \emph{bounded amplification} と呼ばれる非スパースレジームに対して一様一般化境界を与える。 スパース規則境界は、パラメータの$\ell_1$-typeノルムが小さい状況に対応する。 分類の状況と同様に、そのような境界を満たす解は問題の適切な正則化によって得られる。 一方、メトリック学習損失の非正規化SGD最適化は、典型的にはスパースソリューションを生成しません。 このような疎性の欠如にもかかわらず、解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することが可能であることを示す。 したがって、これらの境界は非スパース実実験的状況における一般化を説明することができる。 mnistおよび20newsgroupsデータセット上での研究現象について述べる。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Slicing Mutual Information Generalization Bounds for Neural Networks [14.48773730230054]
  我々は、ディープラーニングアルゴリズムに適した、より厳密な情報理論の一般化バウンダリを導入する。 我々の境界は、標準MI境界よりも有意な計算的および統計的優位性を提供する。 パラメータがランダムな部分空間に正確に横たわる必要がないアルゴリズムに解析を拡張します。
  論文  参考訳（メタデータ） (2024-06-06T13:15:37Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• Avoiding unwanted results in locally linear embedding: A new understanding of regularization [1.0152838128195465]
  局所的な線形埋め込みは、正規化が使われない場合、本質的にいくつかの望ましくない結果が認められる。 これらの悪い結果はすべて、正規化を用いることで効果的に防止できることが観察された。
  論文  参考訳（メタデータ） (2021-08-28T17:23:47Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Implicit Regularization of Sub-Gradient Method in Robust Matrix Recovery: Don't be Afraid of Outliers [6.320141734801679]
  簡単な部分勾配法が真の低ランク解に効率的に収束することを示す。 また,本手法のロバスト性を証明するために,シグナ-RIPと呼ばれる制限等尺性の概念を新たに構築する。
  論文  参考訳（メタデータ） (2021-02-05T02:52:00Z)
• Implicit Regularization in ReLU Networks with the Square Loss [56.70360094597169]
  モデルパラメータの明示的な関数によって、平方損失による暗黙の正規化を特徴付けることは不可能であることを示す。 非線形予測器の暗黙的正規化を理解するためには,より一般的な枠組みが必要であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-09T16:48:03Z)
• Failures of model-dependent generalization bounds for least-norm interpolation [39.97534972432276]
  最小ノルム線形回帰器の一般化性能に関するバウンダリを考察する。 訓練例における様々な自然な関節分布に対して、任意の有効な一般化境界は非常に緩くなければならない。
  論文  参考訳（メタデータ） (2020-10-16T16:30:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。