論文の概要: Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning

• arxiv url: http://arxiv.org/abs/2111.12050v1
• Date: Tue, 23 Nov 2021 18:10:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-24 17:16:08.147764
• Title: Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning
• Title（参考訳）: Pairwise Learningのための簡単な確率的・オンライン勾配DescentAlgorithms
• Authors: Zhenhuan Yang, Yunwen Lei, Puyu Wang, Tianbao Yang and Yiming Ying
• Abstract要約: ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
• 参考スコア（独自算出の注目度）: 65.54757265434465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pairwise learning refers to learning tasks where the loss function depends on a pair of instances. It instantiates many important machine learning tasks such as bipartite ranking and metric learning. A popular approach to handle streaming data in pairwise learning is an online gradient descent (OGD) algorithm, where one needs to pair the current instance with a buffering set of previous instances with a sufficiently large size and therefore suffers from a scalability issue. In this paper, we propose simple stochastic and online gradient descent methods for pairwise learning. A notable difference from the existing studies is that we only pair the current instance with the previous one in building a gradient direction, which is efficient in both the storage and computational complexity. We develop novel stability results, optimization, and generalization error bounds for both convex and nonconvex as well as both smooth and nonsmooth problems. We introduce novel techniques to decouple the dependency of models and the previous instance in both the optimization and generalization analysis. Our study resolves an open question on developing meaningful generalization bounds for OGD using a buffering set with a very small fixed size. We also extend our algorithms and stability analysis to develop differentially private SGD algorithms for pairwise learning which significantly improves the existing results.
• Abstract（参考訳）: ペアワイズ学習(Pairwise learning)とは、損失関数が一対のインスタンスに依存するタスクを学習することを指す。 双方向のランキングやメトリック学習など、多くの重要な機械学習タスクをインスタンス化する。 ペアワイズ学習におけるストリーミングデータを扱う一般的なアプローチは、オンライン勾配降下(ogd)アルゴリズムであり、現在のインスタンスと以前のインスタンスのバッファリングセットを十分に大きなサイズでペアリングする必要があるため、スケーラビリティの問題に苦しむ。 本稿では,一対学習のための簡単な確率的・オンライン勾配降下法を提案する。 既存の研究と顕著な違いは、ストレージと計算の複雑さの両方において効率的である勾配方向を構築する際に、現在のインスタンスと前のインスタンスをペアにすることだけである。 凸および非凸および滑らかおよび非滑らかな問題に対する新しい安定性結果、最適化および一般化誤差境界を開発する。 最適化解析と一般化解析の両方において,モデルと先行インスタンスの依存関係を分離する新しい手法を導入する。 本研究は、非常に小さな固定サイズのバッファリングセットを用いたogdの有意義な一般化境界の開発に関するオープンな疑問を解決している。 また,ペア学習のための微分プライベートsgdアルゴリズムを開発し,既存の結果を大幅に改善するために,アルゴリズムと安定性解析を拡張した。

関連論文リスト

• On Improving the Algorithm-, Model-, and Data- Efficiency of Self-Supervised Learning [18.318758111829386]
  非パラメトリックなインスタンス識別に基づく効率的なシングルブランチSSL手法を提案する。 また,確率分布と正方形根版とのKL分散を最小限に抑える新しい自己蒸留損失を提案する。
  論文  参考訳（メタデータ） (2024-04-30T06:39:04Z)
• Limited Memory Online Gradient Descent for Kernelized Pairwise Learning with Dynamic Averaging [18.843097436906618]
  実例の独立性を必要としない軽量なOGDアルゴリズムを導入し、カーネル対学習に一般化する。 提案アルゴリズムは,ランダムな例と過去のデータを表す移動平均に基づいて勾配を構築し,その結果,O(T)$の複雑さに縛られたサブ線形後悔が生じる。 実世界のデータセットによるいくつかの実験では、複雑性技術がオフラインおよびオンラインシナリオでカーネルと線形勾配を上回ることが示されている。
  論文  参考訳（メタデータ） (2024-02-02T05:21:50Z)
• Variance Reduced Online Gradient Descent for Kernelized Pairwise Learning with Limited Memory [19.822215548822882]
  オンラインのペアワイズ学習を扱うために、オンライン勾配降下アルゴリズム(OGD)が提案されている。 OGDアルゴリズムの最近の進歩は、オンライン勾配の計算の複雑さを減らし、O(T)$未満の複雑さを達成し、たとえ$O(1)$であるとしても達成することを目的としている。 本研究では,カーネルのオンラインペアワイズ学習に拡張し,サブ線形後悔を改善したメモリOGDアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T09:50:54Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive Least-Squares [8.443742714362521]
  我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。 我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。 本実験では,提案手法の有効性をベースラインと比較した。
  論文  参考訳（メタデータ） (2022-07-28T02:01:31Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Learning to Sparsify Travelling Salesman Problem Instances [0.5985204759362747]
  プルーニングマシンラーニングを前処理のステップとして使用し、旅行セールスマンの問題をスパーシャライズするために正確なプログラミングアプローチを行います。 私たちの学習アプローチは、非常に少ないトレーニングデータを必要とし、数学的分析に適応可能です。
  論文  参考訳（メタデータ） (2021-04-19T14:35:14Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Physarum Powered Differentiable Linear Programming Layers and Applications [48.77235931652611]
  一般線形プログラミング問題に対する効率的かつ微分可能な解法を提案する。 本稿では,ビデオセグメンテーションタスクとメタラーニングにおける問題解決手法について述べる。
  論文  参考訳（メタデータ） (2020-04-30T01:50:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。