論文の概要: On Johnson-Lindenstrauss Transforms for Byzantine-Robust Optimization

• arxiv url: http://arxiv.org/abs/2610.27989v1
• Date: Tue, 20 Oct 2026 10:29:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.763292
• Title: On Johnson-Lindenstrauss Transforms for Byzantine-Robust Optimization
• Title（参考訳）: ビザンチン-ロバスト最適化のためのジョンソン-リンデンシュトラウス変換について
• Abstract要約: 分散最適化はこの課題に対処し、圧縮機構が通信コストの削減に役立つ。 次元減少のための古典的な道具はジョンソン・リンデンシュトラウス変換(英語版)であり、実装が簡単であり、強力な幾何学的保証を提供する。 本稿では,Byzantine-Robust最適化におけるこの特性を利用して,信頼された基準勾配との整合性に応じてワーカメッセージを重み付けする。
• 参考スコア（独自算出の注目度）: 84.8884766660163
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The growing scale of data and models in machine learning calls for efficient optimization methods. Distributed optimization addresses this challenge, with compression mechanisms helping to reduce communication costs. A classical tool for dimensionality reduction is the Johnson-Lindenstrauss (JL) transform, which is simple to implement and offers strong geometric guarantees. In particular, JL transforms approximately preserve inner products and pairwise distances between vectors with high probability. In this paper, we exploit this property in Byzantine-robust optimization, where worker messages are weighted according to their alignment with a trusted reference gradient. We further support our theoretical findings with experimental results.
• Abstract（参考訳）: 機械学習におけるデータとモデルの増大は、効率的な最適化方法を求めている。 分散最適化はこの課題に対処し、圧縮機構が通信コストの削減に役立つ。 次元減少のための古典的な道具はジョンソン・リンデンシュトラウス変換(JL)である。 特に、JL変換は内部積とベクトル間の対距離を高い確率でほぼ保存する。 本稿では,Byzantine-Robust最適化におけるこの特性を利用して,信頼された基準勾配との整合性に応じてワーカメッセージを重み付けする。 実験結果により理論的知見をさらに支持する。

関連論文リスト

• A Robust Optimization Approach to Sparse Principal Component Analysis [8.963365635440722]
  本稿では,頑健な最適化を生かしたAdversarial PCA(AdvPCA)を提案する。 この定式化は閉形式還元を許容し、実用的な反復アルゴリズムをもたらすことを示す。 理論的に解を特徴づけることにより、アルゴリズムがボックス外で効果的に実行できるようにするデータ適応パラメータ化を導出する。
  論文  参考訳（メタデータ） (2026-06-02T12:14:12Z)
• Optimal Transportation and Alignment Between Gaussian Measures [80.4634530260329]
  最適なトランスポート(OT)とGromov-Wasserstein(GW)アライメントは、データセットの解釈可能な幾何学的フレームワークを提供する。 これらのフレームワークは計算コストが高いため、大規模アプリケーションは2次コストでガウス分布の閉形式解に依存することが多い。 この研究は、ガウス的、二次的コスト OT と内部積 GW (IGW) のアライメントを包括的に扱い、文学におけるいくつかのギャップを埋めて適用性を広げる。
  論文  参考訳（メタデータ） (2025-12-03T09:01:48Z)
• Globally optimized SVD compression of LLMs via Fermi-function-based rank selection and gauge fixing [0.0]
  LLM(Large Language Models)の低ランク分解は、計算資源の観点から非常に要求される。 我々はSVD圧縮に物理に着想を得た2つの改良点を提示する: textbfFermiGrad, 世界的最適層次数を決定する勾配差アルゴリズム, textbfPivGa, そして低ランク因子の余分な圧縮である textbfPivGa。
  論文  参考訳（メタデータ） (2025-11-26T10:54:01Z)
• ESSA: Evolutionary Strategies for Scalable Alignment [8.418036456622158]
  我々は,前向き推論とブラックボックス最適化のみを用いて,Large Language Models (LLM) を整列する勾配のないフレームワークであるESSAを提案する。 ESSAはQwen2.5-Math-7Bのテスト精度をGSM8Kで12.6%、PRM800Kで14.8%改善し、IFEvalでLLaMA3.1-8Bの精度を22.5%向上させた。 大規模な設定では、ESSAは勾配ベースの方法よりもスケーリングが強い。
  論文  参考訳（メタデータ） (2025-07-06T16:23:07Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Efficient Robust Optimal Transport with Application to Multi-Label Classification [12.521494095948068]
  OTコスト関数における対称正の半定値マハラノビス計量を用いて特徴-特徴関係をモデル化する。 結果の最適化問題を非線形OT問題とみなし,Frank-Wolfeアルゴリズムを用いて解く。 タグ予測や多クラス分類などの識別学習環境における実証的な結果から,本手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-10-22T16:43:52Z)
• The Effectiveness of Johnson-Lindenstrauss Transform for High Dimensional Optimization With Adversarial Outliers, and the Recovery [23.700490046344264]
  我々は2つの基本的な最適化問題に焦点をあてる: アウトリーチ付きSVMと、アウトリーチ付き$k$-centerクラスタリング。 これらの2つの問題の複雑さは、JL変換によって著しく低減できることを示す。 また、次元レデュース空間の解が元の$mathbbRd$で効率よく回収できることも証明する。
  論文  参考訳（メタデータ） (2020-02-27T05:23:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。