論文の概要: Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems

• arxiv url: http://arxiv.org/abs/2004.07931v1
• Date: Wed, 15 Apr 2020 04:29:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 03:48:25.728682
• Title: Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems
• Title（参考訳）: 線形最小二乗問題に対するディープネットワークの固有分解自由学習
• Authors: Zheng Dang, Kwang Moo Yi, Yinlin Hu, Fei Wang, Pascal Fua and Mathieu Salzmann
• Abstract要約: 我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
• 参考スコア（独自算出の注目度）: 107.3868459697569
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many classical Computer Vision problems, such as essential matrix computation and pose estimation from 3D to 2D correspondences, can be tackled by solving a linear least-square problem, which can be done by finding the eigenvector corresponding to the smallest, or zero, eigenvalue of a matrix representing a linear system. Incorporating this in deep learning frameworks would allow us to explicitly encode known notions of geometry, instead of having the network implicitly learn them from data. However, performing eigendecomposition within a network requires the ability to differentiate this operation. While theoretically doable, this introduces numerical instability in the optimization process in practice. In this paper, we introduce an eigendecomposition-free approach to training a deep network whose loss depends on the eigenvector corresponding to a zero eigenvalue of a matrix predicted by the network. We demonstrate that our approach is much more robust than explicit differentiation of the eigendecomposition using two general tasks, outlier rejection and denoising, with several practical examples including wide-baseline stereo, the perspective-n-point problem, and ellipse fitting. Empirically, our method has better convergence properties and yields state-of-the-art results.
• Abstract（参考訳）: 基本行列計算や3次元から2次元対応からのポーズ推定といった古典的コンピュータビジョン問題の多くは、線形系を表す行列の最小、またはゼロの固有値に対応する固有ベクトルを見つけることで、線形最小二乗問題を解くことで解決することができる。 これをディープラーニングフレームワークに組み込むことで、ネットワークが暗黙的にデータから学習するのではなく、既知の幾何学の概念を明示的にエンコードすることが可能になります。 しかし、ネットワーク内で固有分解を行うには、この操作を区別する能力が必要である。 理論的には可能であるが、これは実際に最適化プロセスにおいて数値不安定をもたらす。 本稿では,ネットワークが予測する行列のゼロ固有値に対応する固有ベクトルに依存する深層ネットワークを学習するための固有分解のない手法を提案する。 提案手法は, 広帯域ステレオ, 遠近法n点問題, 楕円フィッティングなどの実例を用いて, 2つの一般的なタスクを用いた固有分解の明示的な微分よりも, はるかに頑健であることを示す。 実験により,本手法は収束特性が向上し,最先端の結果が得られた。

関連論文リスト

• A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features [54.83898311047626]
  2層から有限層まで線形に活性化するニューラルネットワークについて検討する。 まず, 分岐深さの離散辞書を用いたLassoモデルについて検討した。
  論文  参考訳（メタデータ） (2024-03-02T00:33:45Z)
• Hessian Eigenvectors and Principal Component Analysis of Neural Network Weight Matrices [0.0]
  この研究は、訓練された深層ニューラルネットワークの複雑なダイナミクスと、それらのネットワークパラメータとの関係について考察する。 ヘッセン固有ベクトルとネットワーク重みの関係を明らかにする。 この関係は固有値の大きさに依存し、ネットワーク内のパラメータの方向を識別することができる。
  論文  参考訳（メタデータ） (2023-11-01T11:38:31Z)
• Neural Networks Based on Power Method and Inverse Power Method for Solving Linear Eigenvalue Problems [4.3209899858935366]
  本稿では,線形固有値問題の解法として,電力法と逆電力法に着想を得た2種類のニューラルネットワークを提案する。 固有値問題の固有関数はニューラルネットワークによって学習される。 本手法により,正確な固有値と固有関数近似が得られることを示す。
  論文  参考訳（メタデータ） (2022-09-22T16:22:11Z)
• Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent Signals: Application to Hyperspectral Imaging [71.57324258813675]
  相互依存信号のデータセットは、列が強い依存を示す行列として定義される。 ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。 ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
  論文  参考訳（メタデータ） (2022-03-29T21:00:39Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• Global Optimality Beyond Two Layers: Training Deep ReLU Networks via Convex Programs [39.799125462526234]
  我々は凸最適化のレンズを通して隠れ正規化機構を明らかにするための新しい統一フレームワークを開発した。 我々は、合成データセットと実データセットの両方を含む実験を通して、理論的結果を数値的に検証する。
  論文  参考訳（メタデータ） (2021-10-11T18:00:30Z)
• Relative gradient optimization of the Jacobian term in unsupervised deep learning [9.385902422987677]
  データを正しく記述した表現的確率モデルを学習することは、機械学習におけるユビキタスな問題である。 このタスクには深度モデルが広く使用されているが、その最大可能性に基づくトレーニングでは、ジャコビアンの対数行列式を推定する必要がある。 このようなニューラルネットワークの正確なトレーニングのための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-26T16:41:08Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
  半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
  論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。