論文の概要: VectorAdam for Rotation Equivariant Geometry Optimization

• arxiv url: http://arxiv.org/abs/2205.13599v1
• Date: Thu, 26 May 2022 20:11:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-30 14:04:29.719211
• Title: VectorAdam for Rotation Equivariant Geometry Optimization
• Title（参考訳）: 回転同変幾何最適化のためのベクトルアダム
• Authors: Selena Ling, Nicholas Sharp, Alec Jacobson
• Abstract要約: 我々は、VectorAdamが最適化変数のベクトル構造を考慮し、Adam回転同変を生成することを示す。 機械学習と従来の幾何最適化における問題に対するこのアプローチを、等価あるいは改善された収束率で示す。
• 参考スコア（独自算出の注目度）: 31.029552318770772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rise of geometric problems in machine learning has necessitated the development of equivariant methods, which preserve their output under the action of rotation or some other transformation. At the same time, the Adam optimization algorithm has proven remarkably effective across machine learning and even traditional tasks in geometric optimization. In this work, we observe that naively applying Adam to optimize vector-valued data is not rotation equivariant, due to per-coordinate moment updates, and in fact this leads to significant artifacts and biases in practice. We propose to resolve this deficiency with VectorAdam, a simple modification which makes Adam rotation-equivariant by accounting for the vector structure of optimization variables. We demonstrate this approach on problems in machine learning and traditional geometric optimization, showing that equivariant VectorAdam resolves the artifacts and biases of traditional Adam when applied to vector-valued data, with equivalent or even improved rates of convergence.
• Abstract（参考訳）: 機械学習における幾何学的問題の発生は、その出力を回転または他の変換の作用下で保存する同変法の開発を必要とした。 同時に、Adam最適化アルゴリズムは、幾何最適化における機械学習や従来のタスクよりもはるかに効果的であることが証明されている。 本研究では,ベクトル値データの最適化にAdamを適用することは,座標毎のモーメント更新による回転同変ではなく,実際に重要なアーティファクトやバイアスをもたらすことを観察する。 本稿では,最適化変数のベクトル構造を考慮に入れたAdam回転同変を簡単な修正であるVectorAdamを用いて解くことを提案する。 機械学習や従来の幾何学的最適化の問題に対するこのアプローチを実証し、同変ベクトルadamはベクトル値データに適用すると従来のadamのアーティファクトとバイアスを、等価あるいは改良された収束率で解決することを示した。

関連論文リスト

• Convergence rates for the Adam optimizer [4.066869900592636]
  我々はAdamベクトル場と呼ばれる新しいベクトル場関数を提案する。 この場は、勾配アダム最適化過程を正確に記述するが、目的関数の負勾配とは異なる。 我々の収束解析は、アダムが目的関数の臨界点に収束しないことを明らかにする。
  論文  参考訳（メタデータ） (2024-07-29T22:49:04Z)
• Equivariant Spatio-Temporal Self-Supervision for LiDAR Object Detection [37.142470149311904]
  本研究では,空間的および時間的拡張を両立させることにより,時間的同変学習の枠組みを提案する。 既存の等変および不変のアプローチを多くの設定で上回る3次元物体検出のための事前学習法を示す。
  論文  参考訳（メタデータ） (2024-04-17T20:41:49Z)
• Learning Unorthogonalized Matrices for Rotation Estimation [83.94986875750455]
  3次元の回転を推定することは、3次元コンピュータビジョンの一般的な手順である。 回転行列という表現の1つの形式は、その連続性のために人気がある。 非直交擬似擬似回転行列(PRoM)を提案する。
  論文  参考訳（メタデータ） (2023-12-01T09:56:29Z)
• Equivariant Adaptation of Large Pretrained Models [20.687626756753563]
  正規化ネットワークは,大規模な事前学習ネットワークの同種化に有効であることを示す。 データセットに依存した事前情報を用いて正準化関数を通知し、その性能を維持しながら、大きな事前訓練されたモデルを同変させることができる。
  論文  参考訳（メタデータ） (2023-10-02T21:21:28Z)
• A Control Theoretic Framework for Adaptive Gradient Optimizers in Machine Learning [0.6526824510982802]
  適応勾配法はディープニューラルネットワークの最適化に人気がある。 最近の例にはAdaGradとAdamがある。 我々は適応的勾配法のための汎用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-06-04T17:55:33Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization [118.50301177912381]
  我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。 凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:58:21Z)
• MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of Gradients [112.00379151834242]
  本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。 これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
  論文  参考訳（メタデータ） (2020-06-21T21:47:43Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Disentangled Representation Learning and Generation with Manifold Optimization [10.69910379275607]
  本研究は,変分方向の促進による絡み合いを明確に促進する表現学習フレームワークを提案する。 理論的な議論と様々な実験により、提案モデルは、生成品質と非絡み合い表現学習の両方の観点から、多くのVAE変種よりも改善されていることが示された。
  論文  参考訳（メタデータ） (2020-06-12T10:00:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。