論文の概要: Projective Manifold Gradient Layer for Deep Rotation Regression

• arxiv url: http://arxiv.org/abs/2110.11657v1
• Date: Fri, 22 Oct 2021 08:34:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-25 23:18:48.108136
• Title: Projective Manifold Gradient Layer for Deep Rotation Regression
• Title（参考訳）: 深回転回帰のための射影多様体勾配層
• Authors: Jiayi Chen, Yingda Yin, Tolga Birdal, Baoquan Chen, Leonidas Guibas, He Wang
• Abstract要約: ディープニューラルネットワークを用いたSO(3)多様体上の回帰回転は重要な問題であるが未解決である。 ネットワーク重みに直接逆伝搬する多様体対応勾配を提案する。
• 参考スコア（独自算出の注目度）: 49.85464297105456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Regressing rotations on SO(3) manifold using deep neural networks is an important yet unsolved problem. The gap between Euclidean network output space and the non-Euclidean SO(3) manifold imposes a severe challenge for neural network learning in both forward and backward passes. While several works have proposed different regression-friendly rotation representations, very few works have been devoted to improving the gradient backpropagating in the backward pass. In this paper, we propose a manifold-aware gradient that directly backpropagates into deep network weights. Leveraging the Riemannian gradient and a novel projective gradient, our proposed regularized projective manifold gradient (RPMG) helps networks achieve new state-of-the-art performance in a variety of rotation estimation tasks. The proposed gradient layer can also be applied to other smooth manifolds such as the unit sphere.
• Abstract（参考訳）: ディープニューラルネットワークを用いたso(3)多様体上の回帰回転は重要だが未解決の問題である。 ユークリッドネットワーク出力空間と非ユークリッドSO(3)多様体とのギャップは、前と後の両方でニューラルネットワーク学習に深刻な課題を課す。 いくつかの研究で異なる回帰親和性のある回転表現が提案されているが、逆行の勾配バックプロパゲーションを改善するための研究はごくわずかである。 本稿では,ネットワーク重みに直接逆伝搬する多様体対応勾配を提案する。 リーマン勾配と新しい射影勾配を応用し,提案した正規化射影多様体勾配(RPMG)は,様々な回転推定タスクにおいて,ネットワークが新たな最先端性能を達成するのに役立つ。 提案された勾配層は単位球面のような他の滑らかな多様体にも適用できる。

関連論文リスト

• Mitigating Gradient Overlap in Deep Residual Networks with Gradient Normalization for Improved Non-Convex Optimization [0.0]
  ディープラーニングにおいて、Residual Networks(ResNets)は、消滅する問題に対処する上で有効であることが証明されている。 ResNetのスキップ接続はオーバーラップし、学習した変換とスキップ接続がグラデーションで結合される。 重なりを管理する手法としてZ-score Normalization (ZNorm) を検討した。
  論文  参考訳（メタデータ） (2024-10-28T21:54:44Z)
• Can Forward Gradient Match Backpropagation? [2.875726839945885]
  フォワードグラディエントはニューラルネットワークトレーニングに有効であることが示されている。 我々は、小さな局所的な補助ネットワークから得られるフィードバックなど、より有望な方向の勾配推定を強く偏り付けることを提案する。 局所損失から得られた勾配を候補方向として用いた場合,前方勾配法におけるランダムノイズを大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2023-06-12T08:53:41Z)
• GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs [49.55919802779889]
  本稿では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。 本研究では、幾何学的表現学習において、畳み込みニューラルネットワークとグラフニューラルネットワークを相補的に活用する。 提案手法は,数段の伝搬ステップのみを使用する場合と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-19T17:56:03Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• TSG: Target-Selective Gradient Backprop for Probing CNN Visual Saliency [72.9106103283475]
  我々は、畳み込みニューラルネットワークを解釈するために視覚的サリエンシ、すなわち視覚的説明について研究する。 これらの観測に触発されて、我々はTSG(Target-Selective Gradient)バックプロップと呼ばれる新しいビジュアル・サリエンシ・フレームワークを提案する。 提案したTSGはTSG-ConvとTSG-FCの2つのコンポーネントから構成され、それぞれ畳み込み層と完全連結層の勾配を補正する。
  論文  参考訳（メタデータ） (2021-10-11T12:00:20Z)
• Rotation-Invariant Autoencoders for Signals on Spheres [10.406659081400354]
  球面画像に対する回転不変表現の教師なし学習の問題について検討する。 特に、$S2$と$SO(3)$の畳み込み層からなるオートエンコーダアーキテクチャを設計する。 複数のデータセットの実験は、クラスタリング、検索、分類アプリケーションにおける学習された表現の有用性を示す。
  論文  参考訳（メタデータ） (2020-12-08T15:15:03Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。