論文の概要: An Embarrassingly Simple Way to Optimize Orthogonal Matrices at Scale

• arxiv url: http://arxiv.org/abs/2602.14656v1
• Date: Mon, 16 Feb 2026 11:27:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 16:22:50.382556
• Title: An Embarrassingly Simple Way to Optimize Orthogonal Matrices at Scale
• Title（参考訳）: 直交行列をスケールで最適化する非常に単純な方法
• Authors: Adrián Javaloy, Antonio Vergari,
• Abstract要約: この研究はランディングの背景にある考え方を再考し、改善し、近代的な適応を取り入れることを可能にする。 注目すべきは、これらの改善は、ほとんど、あるいは全くコストがかからず、必要となるハイパーパレメーターの数を減らすことである。 われわれのアルゴリズムPOGOは高速でGPUフレンドリで、5つの行列製品からなる。
• 参考スコア（独自算出の注目度）: 17.725823339805697
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Orthogonality constraints are ubiquitous in robust and probabilistic machine learning. Unfortunately, current optimizers are computationally expensive and do not scale to problems with hundreds or thousands of constraints. One notable exception is the Landing algorithm (Ablin et al., 2024) which, however comes at the expense of temporarily relaxing orthogonality. In this work, we revisit and improve on the ideas behind Landing, enabling the inclusion of modern adaptive optimizers while ensuring that orthogonal constraints are effectively met. Remarkably, these improvements come at little to no cost, and reduce the number of required hyperparemeters. Our algorithm POGO is fast and GPU-friendly, consisting of only 5 matrix products, and in practice maintains orthogonality at all times. On several challenging benchmarks, POGO greatly outperforms recent optimizers and shows it can optimize problems with thousands of orthogonal matrices in minutes while alternatives would take hours. As such, POGO sets a milestone to finally exploit orthogonality constraints in ML at scale. A PyTorch implementation of POGO is publicly available at https://github.com/adrianjav/pogo.
• Abstract（参考訳）: 直交性の制約は、堅牢で確率的な機械学習においてユビキタスである。 残念ながら、現在のオプティマイザは計算コストが高く、数百から数千の制約のある問題にスケールしない。 例外としてランディングアルゴリズム(Ablin et al , 2024)があるが、これは一時的な直交緩和を犠牲にしている。 本研究では,Landingの背景にある考え方を再検討し,直交制約が効果的に満たされることを保証しながら,現代的な適応最適化器を組み込むことを可能にした。 注目すべきは、これらの改善は、ほとんど、あるいは全くコストがかからず、必要となるハイパーパレメーターの数を減らすことである。 我々のアルゴリズムPOGOは高速でGPUフレンドリーで、5つの行列生成物のみで構成されており、実際には常に直交性を維持している。 いくつかの挑戦的なベンチマークでは、POGOは最近のオプティマイザを大きく上回り、数千の直交行列の問題を数分で最適化し、代替案に何時間もかかることを示した。 そのため、POGOはMLの大規模な直交制約を最終的に活用するためにマイルストーンを設定している。 POGOのPyTorch実装はhttps://github.com/adrianjav/pogo.comで公開されている。

関連論文リスト

• Improved Approximation Algorithms for Low-Rank Problems Using Semidefinite Optimization [2.0052993723676895]
  そこで我々は,低ランク最適化問題に対する類似の緩和戦略を構築した。 与えられた$n × m$ の半直交行列に対して、我々はアルゴリズムに対して純粋に乗法的近似比を導出する。 我々は、新しい半有限緩和法を開発することにより、一般の低ランク最適化問題にアプローチを拡張した。
  論文  参考訳（メタデータ） (2025-01-06T11:31:41Z)
• Learning the Positions in CountSketch [49.57951567374372]
  本稿では,まずランダムなスケッチ行列に乗じてデータを圧縮し,最適化問題を高速に解くスケッチアルゴリズムについて検討する。 本研究では,ゼロでないエントリの位置を最適化する学習ベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-11T07:28:35Z)
• Infeasible Deterministic, Stochastic, and Variance-Reduction Algorithms for Optimization under Orthogonality Constraints [9.301728976515255]
  本稿では,着陸アルゴリズムの実用化と理論的展開について述べる。 まず、この方法はスティーフェル多様体に拡張される。 また、コスト関数が多くの関数の平均である場合の分散還元アルゴリズムについても検討する。
  論文  参考訳（メタデータ） (2023-03-29T07:36:54Z)
• Minimax Optimization with Smooth Algorithmic Adversaries [59.47122537182611]
  対戦相手が展開するスムーズなアルゴリズムに対して,Min-playerの新しいアルゴリズムを提案する。 本アルゴリズムは,制限周期のない単調進行を保証し,適切な勾配上昇数を求める。
  論文  参考訳（メタデータ） (2021-06-02T22:03:36Z)
• Correcting Momentum with Second-order Information [50.992629498861724]
  最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。 我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
  論文  参考訳（メタデータ） (2021-03-04T19:01:20Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)
• Private Stochastic Convex Optimization: Optimal Rates in Linear Time [74.47681868973598]
  本研究では,凸損失関数の分布から得られた個体群損失を最小化する問題について検討する。 Bassilyらによる最近の研究は、$n$のサンプルを与えられた過剰な人口損失の最適境界を確立している。 本稿では,余剰損失に対する最適境界を達成するとともに,$O(minn, n2/d)$グラデーション計算を用いて凸最適化アルゴリズムを導出する2つの新しい手法について述べる。
  論文  参考訳（メタデータ） (2020-05-10T19:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。