論文の概要: Stability-based Generalization Analysis of Randomized Coordinate Descent for Pairwise Learning

• arxiv url: http://arxiv.org/abs/2503.01530v1
• Date: Mon, 03 Mar 2025 13:39:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:16:35.356694
• Title: Stability-based Generalization Analysis of Randomized Coordinate Descent for Pairwise Learning
• Title（参考訳）: ペアワイズ学習のためのランダム化座標の安定性に基づく一般化解析
• Authors: Liang Wu, Ruixi Hu, Yunwen Lei,
• Abstract要約: ペアワイズ学習におけるRCDの一般化について考察する。 平均的議論安定性を凸関数と強凸目的関数の両方に対して測定する。
• 参考スコア（独自算出の注目度）: 30.557503207329965
• License:
• Abstract: Pairwise learning includes various machine learning tasks, with ranking and metric learning serving as the primary representatives. While randomized coordinate descent (RCD) is popular in various learning problems, there is much less theoretical analysis on the generalization behavior of models trained by RCD, especially under the pairwise learning framework. In this paper, we consider the generalization of RCD for pairwise learning. We measure the on-average argument stability for both convex and strongly convex objective functions, based on which we develop generalization bounds in expectation. The early-stopping strategy is adopted to quantify the balance between estimation and optimization. Our analysis further incorporates the low-noise setting into the excess risk bound to achieve the optimistic bound as $O(1/n)$, where $n$ is the sample size.
• Abstract（参考訳）: ペアワイズ学習には、さまざまな機械学習タスクが含まれており、ランキングとメートル法学習が主要な代表として機能している。 ランダム化座標降下(RCD)は、様々な学習問題で人気があるが、RCDによって訓練されたモデルの一般化挙動に関する理論的解析は、特にペアワイズ学習フレームワークの下では、はるかに少ない。 本稿では,ペアワイズ学習におけるRCDの一般化について考察する。 平均的議論安定性を凸関数と強凸目的関数の両方に対して測定し、期待値の一般化境界を導出する。 推定と最適化のバランスを定量化するために、アーリーストッピング戦略が採用されている。 我々の分析では、低ノイズ設定を過剰なリスク境界に組み込んで、楽観的境界を$O(1/n)$とすることで、サンプルサイズが$n$となる。

関連論文リスト

• Stochastic Q-learning for Large Discrete Action Spaces [79.1700188160944]
  離散的な行動空間を持つ複雑な環境では、強化学習(RL)において効果的な意思決定が重要である 我々は、$n$アクションの集合全体を最適化するのとは対照的に、おそらく$mathcalO(log(n)$)$のような変数の集合のみを考える。 提示された値ベースのRL手法には、Q-learning、StochDQN、StochDDQNなどが含まれる。
  論文  参考訳（メタデータ） (2024-05-16T17:58:44Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms [61.59448949684493]
  学習例から構築した合成降下アルゴリズムの安定性と一般化解析について述べる。 SCGD と SCSC という2つの一般的な合成勾配勾配勾配アルゴリズムの均一安定性について検討した。 SCGD と SCSC の非依存的過剰リスク境界は,安定性結果と最適化誤差をトレードオフすることによって導出する。
  論文  参考訳（メタデータ） (2023-07-07T02:40:09Z)
• On the Stability and Generalization of Triplet Learning [55.75784102837832]
  トリプルトラーニング(トリプルトラーニング)、すなわちトリプルトデータから学ぶことは、コンピュータビジョンタスクに大きな注目を集めている。 本稿では,安定解析を利用した三重項学習の一般化保証について検討する。
  論文  参考訳（メタデータ） (2023-02-20T07:32:50Z)
• A Rationale-Centric Framework for Human-in-the-loop Machine Learning [12.793695970529138]
  本稿では,RDL(Ralionales-centric Double-robustness Learning)を用いた新たな理性中心型フレームワークを提案する。 RDLは、有理性(すなわち、予測を引き起こすフレーズ)、人間の介入、半現実的な拡張を利用して、スパイラルな関連性やバイアスモデルを切り離し、一般に適用可能な基礎的分布に向かわせる。
  論文  参考訳（メタデータ） (2022-03-24T08:12:57Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Learning Rates for Nonconvex Pairwise Learning [7.33244617309908]
  人口規模に基づいて多くの重要な学習タスクを改善するため、ペアワイズ学習が注目されている。 モチベーションされた非賢明な学習は、学習率を改善する。
  論文  参考訳（メタデータ） (2021-11-09T16:12:20Z)
• Stability and Generalization for Randomized Coordinate Descent [19.687456295228156]
  RCDによってトレーニングされたモデルがどのように例をテストするかを研究する作業はない。 本稿では,アルゴリズム安定性の強力なツールを活用することにより,RCDの一般化解析を初期化する。 解析の結果,RCDは勾配降下よりも安定性がよいことがわかった。
  論文  参考訳（メタデータ） (2021-08-17T02:52:50Z)
• Improved Learning Rates for Stochastic Optimization: Two Theoretical Viewpoints [7.33244617309908]
  最適化の一般化性能は機械学習の中心である。 本稿では,2つの一般的な最適化手法の学習率向上に向けた過大な取り組みについて検討する。 これらの課題に乗じて、凸学習における軽度の仮定の下で改善率を提供し、より高速な非学習率の導出を目指す。
  論文  参考訳（メタデータ） (2021-07-19T08:46:14Z)
• Self-supervised Representation Learning with Relative Predictive Coding [102.93854542031396]
  Relative Predictive Coding(RPC)は、新しいコントラスト表現学習目標である。 RPCは、トレーニング安定性、ミニバッチサイズ感度、ダウンストリームタスクパフォーマンスのバランスが良好である。 ベンチマークビジョンと音声自己教師型学習タスクにおけるRPCの有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2021-03-21T01:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。