論文の概要: Training Without Orthogonalization, Inference With SVD: A Gradient Analysis of Rotation Representations

• arxiv url: http://arxiv.org/abs/2604.05414v1
• Date: Tue, 07 Apr 2026 04:19:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.620402
• Title: Training Without Orthogonalization, Inference With SVD: A Gradient Analysis of Rotation Representations
• Title（参考訳）: SVDを用いた直交的学習 : 回転表現のグラディエント解析
• Authors: Chris Choy,
• Abstract要約: トレーニングループからSVDを除去すると勾配方向誤差が回避されることを示す。 また、6次元グラムシュミット・ヤコビアンが非対称スペクトルを持つことを証明し、なぜ9次元パラメータ化が好ましいのかを説明する。
• 参考スコア（独自算出の注目度）: 0.12691047660244334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has shown that removing orthogonalization during training and applying it only at inference improves rotation estimation in deep learning, with empirical evidence favoring 9D representations with SVD projection. However, the theoretical understanding of why SVD orthogonalization specifically harms training, and why it should be preferred over Gram-Schmidt at inference, remains incomplete. We provide a detailed gradient analysis of SVD orthogonalization specialized to $3 \times 3$ matrices and $SO(3)$ projection. Our central result derives the exact spectrum of the SVD backward pass Jacobian: it has rank $3$ (matching the dimension of $SO(3)$) with nonzero singular values $2/(s_i + s_j)$ and condition number $κ= (s_1 + s_2)/(s_2 + s_3)$, creating quantifiable gradient distortion that is most severe when the predicted matrix is far from $SO(3)$ (e.g., early in training when $s_3 \approx 0$). We further show that even stabilized SVD gradients introduce gradient direction error, whereas removing SVD from the training loop avoids this tradeoff entirely. We also prove that the 6D Gram-Schmidt Jacobian has an asymmetric spectrum: its parameters receive unequal gradient signal, explaining why 9D parameterization is preferable. Together, these results provide the theoretical foundation for training with direct 9D regression and applying SVD projection only at inference.
• Abstract（参考訳）: 近年の研究では、トレーニング中の直交化を除去し、推論時にのみ適用することにより、深層学習における回転推定が向上し、SVDプロジェクションによる9次元表現が好ましいことが実証されている。 しかし、SVDの直交化が特に訓練に悪影響を及ぼす理由と、推論においてグラムシュミットよりも好まれるべき理由に関する理論的理解はいまだ不完全である。 SVD直交化の詳細な勾配解析を行い,$3 \times 3$ matrices and $SO(3)$ projection。 我々の中心的な結果は、SVDの後方通過ヤコビアンの正確なスペクトルを導出する: 階数$$$$(SO(3)$)と非ゼロ特異値$2/(s_i + s_j)$と条件番号$κ= (s_1 + s_2)/(s_2 + s_3)$で、予測行列が$SO(3)$(例えば、$s_3 \approx 0$)から遠く離れたときに最も重くなる、定量的な勾配歪みを生成する。 さらに,安定なSVD勾配でも勾配方向誤差が生じるのに対して,トレーニングループからSVDを除去することは,このトレードオフを完全に回避することを示す。 また、6次元グラムシュミットヤコビアンは非対称スペクトルを持ち、パラメータが不等勾配信号を受け取り、なぜ9次元パラメータ化が好ましいのかを説明する。 これらの結果は,直接9次元回帰によるトレーニングの理論的基礎を提供し,推論時にのみSVD投影を適用した。

関連論文リスト

• GST-VLA: Structured Gaussian Spatial Tokens for 3D Depth-Aware Vision-Language-Action Models [6.2676602262188625]
  VLAモデルは、内在的な幾何学構造を持たない2次元パッチトークンとして視覚観察を符号化する。 GST-VLAを2つのコントリビューションで紹介する。 第一に、ガウス空間Tokenizer (GST) は凍った深度と凍ったセマンティックパッチの特徴を3Dプリミティブに変換する。 第二に、DA-CoT推論は4つの構造化された中間空間的思考を監督する。
  論文  参考訳（メタデータ） (2026-03-10T01:39:38Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Self-Ensembling Gaussian Splatting for Few-Shot Novel View Synthesis [55.561961365113554]
  3D Gaussian Splatting (3DGS) は新規ビュー合成(NVS)において顕著な効果を示した 本稿では,Self-Ensembling Gaussian Splatting(SE-GS)を紹介する。 我々は,トレーニング中に不確実性を認識した摂動戦略を導入することで,自己理解を実現する。 LLFF, Mip-NeRF360, DTU, MVImgNetデータセットによる実験結果から, 本手法がNVSの品質を向上させることを示す。
  論文  参考訳（メタデータ） (2024-10-31T18:43:48Z)
• Momentum Aggregation for Private Non-convex ERM [45.17205354923149]
  我々は、スムーズな$dDの目的に対して、プライバシを保存する非次元の非経験的最小化のための新しいアルゴリズムと保証を導入する。 本研究では,スムーズな例の再現性を利用した勾配降下目標の開発を行う。
  論文  参考訳（メタデータ） (2022-10-12T15:48:26Z)
• Training \beta-VAE by Aggregating a Learned Gaussian Posterior with a Decoupled Decoder [0.553073476964056]
  VAEトレーニングの現在の実践は、しばしば、再構成の忠実さと、潜伏空間の連続性$/$$分散の間のトレードオフをもたらす。 本稿では,2つの損失の対角的機構の直観と注意深い解析を行い,VAEを訓練するための簡易で効果的な2段階法を提案する。 本手法は, 3次元頭蓋骨再建と形状完成を目的とした医療データセットを用いて評価し, 提案手法を用いてトレーニングしたVAEの有望な生成能力を示す。
  論文  参考訳（メタデータ） (2022-09-29T13:49:57Z)
• Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
  本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。 提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-06T08:03:45Z)
• Robust Differentiable SVD [117.35644933471401]
  対称行列の固有分解は多くのコンピュータビジョンアルゴリズムの中心にある。 不安定性は互いに近い固有値の存在によって生じる。 SVD勾配のテイラー展開は、反復過程に依存することなくPIを用いて得られる勾配と理論的に等価であることを示す。
  論文  参考訳（メタデータ） (2021-04-08T15:04:15Z)
• An Analysis of SVD for Deep Rotation Estimation [63.97835949897361]
  SVDが回転群に射影する自然な選択であることを示す理論的解析を提案する。 解析の結果,既存の表現をSVDの直交化手順に置き換えれば,多くのディープラーニングアプリケーションにおいて,技術性能の状態を得られることがわかった。
  論文  参考訳（メタデータ） (2020-06-25T17:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。