論文の概要: Permutation Randomization on Nonsmooth Nonconvex Optimization: A Theoretical and Experimental Study

• arxiv url: http://arxiv.org/abs/2505.11752v1
• Date: Fri, 16 May 2025 23:28:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.824992
• Title: Permutation Randomization on Nonsmooth Nonconvex Optimization: A Theoretical and Experimental Study
• Title（参考訳）: 非滑らかな非凸最適化における置換ランダム化:理論的および実験的研究
• Authors: Wei Zhang, Arif Hassan Zidan, Afrar Jahin, Yu Bao, Tianming Liu,
• Abstract要約: ランダム化を組み込んだ勾配ベースのネットワークは、複雑な最適化よりも優れた性能を示すことが多い。 置換ランダム化は勾配に基づく振る舞いを妨害する。 置換ランダム化は基礎となる基底線の収束を保存することができる。
• 参考スコア（独自算出の注目度）: 15.960271016276447
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While gradient-based optimizers that incorporate randomization often showcase superior performance on complex optimization, the theoretical foundations underlying this superiority remain insufficiently understood. A particularly pressing question has emerged: What is the role of randomization in dimension-free nonsmooth nonconvex optimization? To address this gap, we investigate the theoretical and empirical impact of permutation randomization within gradient-based optimization frameworks, using it as a representative case to explore broader implications. From a theoretical perspective, our analyses reveal that permutation randomization disrupts the shrinkage behavior of gradient-based optimizers, facilitating continuous convergence toward the global optimum given a sufficiently large number of iterations. Additionally, we prove that permutation randomization can preserve the convergence rate of the underlying optimizer. On the empirical side, we conduct extensive numerical experiments comparing permutation-randomized optimizer against three baseline methods. These experiments span tasks such as training deep neural networks with stacked architectures and optimizing noisy objective functions. The results not only corroborate our theoretical insights but also highlight the practical benefits of permutation randomization. In summary, this work delivers both rigorous theoretical justification and compelling empirical evidence for the effectiveness of permutation randomization. Our findings and evidence lay a foundation for extending analytics to encompass a wide array of randomization.
• Abstract（参考訳）: ランダム化を取り入れた勾配ベースの最適化器は、しばしば複雑な最適化において優れた性能を示すが、この優位性の理論的基礎は未だ十分に理解されていない。 次元のない非滑らかな非凸最適化におけるランダム化の役割は何か? このギャップに対処するために、勾配に基づく最適化フレームワークにおける置換ランダム化の理論的および経験的影響について検討し、より広範な意味を探求する代表的なケースとして利用した。 理論的な観点から、置換ランダム化は勾配に基づく最適化器の収縮挙動を阻害し、十分に多くの反復が与えられた大域的最適への連続収束を容易にする。 さらに、置換ランダム化は、基礎となるオプティマイザの収束率を維持することができることを示す。 経験的側面では、置換ランダム化オプティマイザを3つのベースライン法と比較する広範な数値実験を行う。 これらの実験は、スタック化されたアーキテクチャでディープニューラルネットワークをトレーニングし、ノイズの多い目的関数を最適化するといったタスクにまたがる。 結果は、理論的な洞察を裏付けるだけでなく、置換ランダム化の実践的な利点も強調する。 要約すると、この研究は厳密な理論的正当化と、置換ランダム化の有効性に関する説得力のある実証的な証拠の両方を提供する。 我々の発見と証拠は、広範囲のランダム化を含む分析を拡張する基盤を築いてきた。

関連論文リスト

• Efficient Optimization with Orthogonality Constraint: a Randomized Riemannian Submanifold Method [10.239769272138995]
  機械学習における課題を解決するための新しい手法を提案する。 ランダムな部分多様体を更新するための2つの戦略を導入する。 我々は、我々のアプローチが様々な問題にどのように一般化されるかを示す。
  論文  参考訳（メタデータ） (2025-05-18T11:46:44Z)
• A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
  非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。 非凸アルゴリズムに新しい統一仮定を導入する。
  論文  参考訳（メタデータ） (2025-02-17T21:25:31Z)
• Implicit Diffusion: Efficient Optimization through Stochastic Sampling [46.049117719591635]
  パラメータ化拡散により暗黙的に定義された分布を最適化するアルゴリズムを提案する。 本稿では,これらのプロセスの1次最適化のための一般的なフレームワークについて紹介する。 エネルギーベースモデルのトレーニングや拡散の微調整に応用する。
  論文  参考訳（メタデータ） (2024-02-08T08:00:11Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Refined bounds for randomized experimental design [7.899055512130904]
  実験的な設計は与えられた基準のための最もよい推定器を得るために与えられたセット間のサンプルを選ぶためのアプローチです。 EおよびG最適化設計におけるランダム化戦略の理論的保証を提案する。
  論文  参考訳（メタデータ） (2020-12-22T20:37:57Z)
• Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
  本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2020-09-08T06:54:11Z)
• Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
  我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。 我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。 また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-02-16T09:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。