論文の概要: On the Stability and Generalization of Triplet Learning

• arxiv url: http://arxiv.org/abs/2302.09815v1
• Date: Mon, 20 Feb 2023 07:32:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 16:17:48.547106
• Title: On the Stability and Generalization of Triplet Learning
• Title（参考訳）: トリプルト学習の安定性と一般化について
• Authors: Jun Chen, Hong Chen, Xue Jiang, Bin Gu, Weifu Li, Tieliang Gong, Feng Zheng
• Abstract要約: トリプルトラーニング(トリプルトラーニング)、すなわちトリプルトデータから学ぶことは、コンピュータビジョンタスクに大きな注目を集めている。 本稿では,安定解析を利用した三重項学習の一般化保証について検討する。
• 参考スコア（独自算出の注目度）: 55.75784102837832
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Triplet learning, i.e. learning from triplet data, has attracted much attention in computer vision tasks with an extremely large number of categories, e.g., face recognition and person re-identification. Albeit with rapid progress in designing and applying triplet learning algorithms, there is a lacking study on the theoretical understanding of their generalization performance. To fill this gap, this paper investigates the generalization guarantees of triplet learning by leveraging the stability analysis. Specifically, we establish the first general high-probability generalization bound for the triplet learning algorithm satisfying the uniform stability, and then obtain the excess risk bounds of the order $O(n^{-\frac{1}{2}} \mathrm{log}n)$ for both stochastic gradient descent (SGD) and regularized risk minimization (RRM), where $2n$ is approximately equal to the number of training samples. Moreover, an optimistic generalization bound in expectation as fast as $O(n^{-1})$ is derived for RRM in a low noise case via the on-average stability analysis. Finally, our results are applied to triplet metric learning to characterize its theoretical underpinning.
• Abstract（参考訳）: トリプルトラーニング(トリプルトラーニング)、すなわちトリプルトデータから学ぶことは、コンピュータビジョンタスクにおいて非常に多くのカテゴリー(顔認識や人物の再識別など)で注目を集めている。 三重項学習アルゴリズムの設計と適用の急速な進歩に加えて、その一般化性能の理論的理解に関する研究は乏しい。 このギャップを埋めるために,安定解析を利用して三重項学習の一般化保証を検討する。 具体的には、一様安定性を満足する三重項学習アルゴリズムに束縛された最初の一般高確率一般化を行い、次いで確率勾配降下 (sgd) と正規化リスク最小化 (rrm) の両方に対して、o(n^{-\frac{1}{2}} \mathrm{log}n)$ の余剰リスク境界を得る。 さらに、平均安定性解析により、低雑音の場合において、RRMに対して$O(n^{-1})$の期待値の楽観的な一般化が導出される。 最後に,その理論的基盤を特徴付けるために三重項計量学習に適用した。

関連論文リスト

• Tri-Level Navigator: LLM-Empowered Tri-Level Learning for Time Series OOD Generalization [9.95894026392039]
  事前学習された大言語モデルを用いた時系列OOD一般化について検討する。 まず,textbfSeries textbfOOD 一般化のための新しい textbfTri レベルの学習フレームワーク TTSO を提案する。 本稿では,この三段階最適化問題に適した階層化ローカライゼーションアルゴリズムを開発し,提案アルゴリズムの保証収束を理論的に実証する。
  論文  参考訳（メタデータ） (2024-10-09T16:00:21Z)
• Stability and Generalization for Stochastic Recursive Momentum-based Algorithms for (Strongly-)Convex One to $K$-Level Stochastic Optimizations [20.809499420384256]
  STORMベースのアルゴリズムは、K$レベル(K geq 3$)の最適化問題を解決するために広く開発されている。 本稿では,STORMに基づく3つの代表的なアルゴリズムを包括的に分析する。
  論文  参考訳（メタデータ） (2024-07-07T07:07:04Z)
• Towards Understanding the Generalizability of Delayed Stochastic Gradient Descent [63.43247232708004]
  非同期で実行される勾配降下は、大規模機械学習モデルのトレーニングにおいて重要な役割を果たす。 既存の一般化誤差境界は悲観的であり、非同期遅延と一般化の相関を明らかにすることはできない。 我々の理論的結果は、非同期遅延は遅延SGDアルゴリズムの一般化誤差を低減することを示唆している。
  論文  参考訳（メタデータ） (2023-08-18T10:00:27Z)
• Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms [61.59448949684493]
  学習例から構築した合成降下アルゴリズムの安定性と一般化解析について述べる。 SCGD と SCSC という2つの一般的な合成勾配勾配勾配アルゴリズムの均一安定性について検討した。 SCGD と SCSC の非依存的過剰リスク境界は,安定性結果と最適化誤差をトレードオフすることによって導出する。
  論文  参考訳（メタデータ） (2023-07-07T02:40:09Z)
• Understanding Generalization of Federated Learning via Stability: Heterogeneity Matters [1.4502611532302039]
  一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。 一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。
  論文  参考訳（メタデータ） (2023-06-06T16:12:35Z)
• Generalization Analysis for Contrastive Representation Learning [80.89690821916653]
  既存の一般化誤差境界は負の例の数$k$に線形に依存する。 対数項まで$k$に依存しないコントラスト学習のための新しい一般化境界を確立する。
  論文  参考訳（メタデータ） (2023-02-24T01:03:56Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Learning Rates for Nonconvex Pairwise Learning [7.33244617309908]
  人口規模に基づいて多くの重要な学習タスクを改善するため、ペアワイズ学習が注目されている。 モチベーションされた非賢明な学習は、学習率を改善する。
  論文  参考訳（メタデータ） (2021-11-09T16:12:20Z)
• Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
  ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
  論文  参考訳（メタデータ） (2021-07-28T05:18:10Z)
• Improved Learning Rates for Stochastic Optimization: Two Theoretical Viewpoints [7.33244617309908]
  最適化の一般化性能は機械学習の中心である。 本稿では,2つの一般的な最適化手法の学習率向上に向けた過大な取り組みについて検討する。 これらの課題に乗じて、凸学習における軽度の仮定の下で改善率を提供し、より高速な非学習率の導出を目指す。
  論文  参考訳（メタデータ） (2021-07-19T08:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。