論文の概要: Safe-EF: Error Feedback for Nonsmooth Constrained Optimization

• arxiv url: http://arxiv.org/abs/2505.06053v1
• Date: Fri, 09 May 2025 13:49:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:10.283484
• Title: Safe-EF: Error Feedback for Nonsmooth Constrained Optimization
• Title（参考訳）: Safe-EF: 制約のない最適化のためのエラーフィードバック
• Authors: Rustem Islamov, Yarden As, Ilyas Fatkhullin,
• Abstract要約: 圧縮圧縮機(Top-Kなど)との通信圧縮は、実際は好まれるが、適切な処理をすることなく性能を低下させることができる。 エラーフィードバック(EF)はそのような問題を緩和するが、スムーズで制約のない問題に大きく制限されている。 我々は、制約圧縮を伴う一階アルゴリズムの新しい低次複雑性境界を確立することにより、標準非平滑凸設定におけるEFの理解を深める。 我々は,実用アプリケーションに不可欠な安全制約を課しながら,我々の下限を一定に整合させる新しいアルゴリズムであるSafe-EFを提案する。
• 参考スコア（独自算出の注目度）: 6.247092201631672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning faces severe communication bottlenecks due to the high dimensionality of model updates. Communication compression with contractive compressors (e.g., Top-K) is often preferable in practice but can degrade performance without proper handling. Error feedback (EF) mitigates such issues but has been largely restricted for smooth, unconstrained problems, limiting its real-world applicability where non-smooth objectives and safety constraints are critical. We advance our understanding of EF in the canonical non-smooth convex setting by establishing new lower complexity bounds for first-order algorithms with contractive compression. Next, we propose Safe-EF, a novel algorithm that matches our lower bound (up to a constant) while enforcing safety constraints essential for practical applications. Extending our approach to the stochastic setting, we bridge the gap between theory and practical implementation. Extensive experiments in a reinforcement learning setup, simulating distributed humanoid robot training, validate the effectiveness of Safe-EF in ensuring safety and reducing communication complexity.
• Abstract（参考訳）: フェデレーション学習は、モデル更新の高次元性のため、深刻なコミュニケーションボトルネックに直面します。 圧縮機(例えばTop-K)による通信圧縮は、実際は好まれるが、適切な処理をすることなく性能を劣化させることができる。 エラーフィードバック(EF)はそのような問題を緩和するが、スムーズで制約のない問題に大きく制限されている。 我々は、制約圧縮を伴う一階アルゴリズムにおいて、新しい低次複雑性境界を確立することにより、標準非平滑凸設定におけるEFの理解を深める。 次に,実用アプリケーションに不可欠な安全制約を強制しながら,我々の下限(定数まで)にマッチする新しいアルゴリズムであるSafe-EFを提案する。 確率的設定へのアプローチを拡張して、理論と実践的実装のギャップを埋める。 分散ヒューマノイドロボットのトレーニングをシミュレートした強化学習装置における広範囲な実験により、安全確保と通信複雑性の低減にSafe-EFの有効性が検証された。

関連論文リスト

• One-Shot Safety Alignment for Large Language Models via Optimal Dualization [64.52223677468861]
  本稿では,制約付きアライメントを等価な非制約アライメント問題に還元する双対化の観点を提案する。 我々は、閉形式を持つ滑らかで凸な双対函数を事前に最適化する。 我々の戦略は、モデルベースと嗜好ベースの設定における2つの実用的なアルゴリズムに導かれる。
  論文  参考訳（メタデータ） (2024-05-29T22:12:52Z)
• SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization [1.3597551064547502]
  本研究では,新しい安全強化学習アルゴリズム,セーフティ・クリティカル・ポリシー・オプティマイゼーションを導入する。 本研究では,安全制約に違反して得られる報酬を無効化する機構である安全評論家を定義した。 理論的解析により,提案アルゴリズムは安全制約への付着と報酬の最大化との間のトレードオフを自動的にバランスできることが示された。
  論文  参考訳（メタデータ） (2023-11-01T22:12:50Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Penalized Proximal Policy Optimization for Safe Reinforcement Learning [68.86485583981866]
  本稿では、等価な制約のない問題の単一最小化により、煩雑な制約付きポリシー反復を解決するP3Oを提案する。 P3Oは、コスト制約を排除し、クリップされたサロゲート目的による信頼領域制約を除去するために、単純なyet効果のペナルティ関数を利用する。 P3Oは,一連の制約された機関車作業において,報酬改善と制約満足度の両方に関して,最先端のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-24T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。