論文の概要: A Unified Analysis of Stochastic Gradient Descent with Arbitrary Data Permutations and Beyond

• arxiv url: http://arxiv.org/abs/2501.16117v1
• Date: Mon, 27 Jan 2025 15:07:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:55:17.478556
• Title: A Unified Analysis of Stochastic Gradient Descent with Arbitrary Data Permutations and Beyond
• Title（参考訳）: 任意データ置換を用いた確率勾配勾配の統一解析
• Authors: Yipeng Li, Xinchen Lyu, Zhenyu Liu,
• Abstract要約: 我々は、置換に基づくグラディエントDescent(SGD)のための統一収束解析を提供することを目指している。 既存の置換に基づくSGDアルゴリズムは、任意置換、独立置換、一置換、依存置換の4つのカテゴリに分類される。 提案手法は, 任意の例の置換を施した置換型SGDの統一フレームワークを開発し, 上記の代表アルゴリズムをすべて取り入れた。
• 参考スコア（独自算出の注目度）: 7.325166704015515
• License:
• Abstract: We aim to provide a unified convergence analysis for permutation-based Stochastic Gradient Descent (SGD), where data examples are permuted before each epoch. By examining the relations among permutations, we categorize existing permutation-based SGD algorithms into four categories: Arbitrary Permutations, Independent Permutations (including Random Reshuffling), One Permutation (including Incremental Gradient, Shuffle One and Nice Permutation) and Dependent Permutations (including GraBs Lu et al., 2022; Cooper et al., 2023). Existing unified analyses failed to encompass the Dependent Permutations category due to the inter-epoch dependencies in its permutations. In this work, we propose a general assumption that captures the inter-epoch permutation dependencies. Using the general assumption, we develop a unified framework for permutation-based SGD with arbitrary permutations of examples, incorporating all the aforementioned representative algorithms. Furthermore, we adapt our framework on example ordering in SGD for client ordering in Federated Learning (FL). Specifically, we develop a unified framework for regularized-participation FL with arbitrary permutations of clients.
• Abstract（参考訳）: SGD(Stochastic Gradient Descent)に対して,各エポック前にデータ例を置換する統合収束解析を提案する。 置換間の関係を調べることで、既存の置換に基づくSGDアルゴリズムを、任意置換、独立置換(ランダム再シャッフルを含む)、1置換(インクリメンタルグラディエント、シャッフル1、ニース置換を含む)、依存置換(GraBs Lu et al , 2022; Cooper et al , 2023)の4つのカテゴリに分類する。 既存の統合分析は、その置換におけるエポック間の依存関係のため、依存性の置換カテゴリを包含できなかった。 本研究では,エポック間置換の依存関係をキャプチャする一般的な仮定を提案する。 一般的な仮定を用いて、上記の代表アルゴリズムをすべて組み込んだ、任意の例の置換による置換に基づくSGDの統一的なフレームワークを開発する。 さらに,フェデレートラーニング(FL)におけるクライアント注文のSGDでの注文を例に,我々のフレームワークを適応させる。 具体的には、クライアントを任意に置換した正規化参加FLのための統一フレームワークを開発する。

関連論文リスト

• Random sampling of permutations through quantum circuits [0.0]
  我々は,Steinhaus-Johnson-Trotterアルゴリズムからインスピレーションを得た,置換のランダムサンプリングのための古典的アルゴリズムを提案する。 我々は、量子回路モデルを用いて、量子回路モデルを用いて、$n$-qubit系に対する置換のランダムサンプリングを行う。
  論文  参考訳（メタデータ） (2024-09-04T18:19:30Z)
• Permutation Superposition Oracles for Quantum Query Lower Bounds [14.957648729581502]
  入力-出力ペアの述語に対するアルゴリズムの成功確率を、結果のオラクルシミュレーションを用いてバウンドする方法を示す。 本研究では, 1ラウンドスポンジ構成がランダムな置換モデルに対して無条件に事前画像に抵抗可能であることを示す。
  論文  参考訳（メタデータ） (2024-07-12T19:27:13Z)
• Compositional Generalization without Trees using Multiset Tagging and Latent Permutations [121.37328648951993]
  まず、各入力トークンに複数の出力トークンをタグ付けします。 次に、新しいパラメータ化法と置換予測法を用いて、トークンを出力シーケンスに配置する。 我々のモデルは、事前訓練されたセq2seqモデルと、現実的なセマンティック解析タスクに関する先行研究より優れている。
  論文  参考訳（メタデータ） (2023-05-26T14:09:35Z)
• HiPerformer: Hierarchically Permutation-Equivariant Transformer for Time Series Forecasting [56.95572957863576]
  本稿では,同じ群を構成する成分間の関係と群間の関係を考察した階層的置換同変モデルを提案する。 実世界のデータを用いた実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-14T05:11:52Z)
• Repeatable Random Permutation Set [9.327920030279586]
  アイテムの繰り返しを考慮したランダムな置換集合(rm R2PS$)を提案する。 これらの特性に基づいて、決定支援システムアプリケーションをシミュレートして、$rm R2PS$の有効性を示す。
  論文  参考訳（メタデータ） (2022-11-03T09:44:43Z)
• On Fitness Landscape Analysis of Permutation Problems: From Distance Metrics to Mutation Operator Selection [0.0]
  この理論を探求し、順列空間上の最適化問題に対するフィットネスランドスケープ解析の実践を拡大する。 まず、置換のための利用可能な距離メトリクスを調査し、次に主成分分析を使用してこれらのメトリクスを分類する。 置換メトリクス、置換突然変異演算子、および関連する進化的アルゴリズムの実装は、オープンソースのJavaライブラリの2つで利用可能です。
  論文  参考訳（メタデータ） (2022-08-23T20:46:49Z)
• Probabilistic Permutation Graph Search: Black-Box Optimization for Fairness in Ranking [53.94413894017409]
  本稿では、置換グラフの概念に基づいて、置換分布を表現する新しい方法を提案する。 PLと同様に、PPGと呼ばれる分布表現は、公正性のブラックボックス最適化に利用できる。
  論文  参考訳（メタデータ） (2022-04-28T20:38:34Z)
• Sparse Quadratic Optimisation over the Stiefel Manifold with Application to Permutation Synchronisation [71.27989298860481]
  二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。 そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:17:35Z)
• Batch Bayesian Optimization on Permutations using Acquisition Weighted Kernels [86.11176756341114]
  決定点プロセスに基づく新しい効率的なバッチ取得方法であるLAWを紹介します。 本研究では,理論特性の知見を得るための後悔分析法を提案する。 二次代入などの置換を含むいくつかの標準問題に対する手法を評価する。
  論文  参考訳（メタデータ） (2021-02-26T10:15:57Z)
• Regularizing Towards Permutation Invariance in Recurrent Models [26.36835670113303]
  我々は、RNNが置換不変性に対して規則化可能であることを示し、その結果、コンパクトモデルが得られることを示した。 既存のソリューションは、主に、設計によって不変な置換性を持つ仮説クラスに学習問題を限定することを提案している。 提案手法は,合成および実世界のデータセットにおける他の置換不変手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-25T07:46:51Z)
• Stochastic Saddle-Point Optimization for Wasserstein Barycenters [69.68068088508505]
  オンラインデータストリームによって生成される有限個の点からなるランダムな確率測度に対する人口推定バリセンタ問題を考察する。 本稿では,この問題の構造を用いて,凸凹型サドル点再構成を行う。 ランダム確率測度の分布が離散的な場合、最適化アルゴリズムを提案し、その複雑性を推定する。
  論文  参考訳（メタデータ） (2020-06-11T19:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。