論文の概要: MinBackProp -- Backpropagating through Minimal Solvers
- arxiv url: http://arxiv.org/abs/2404.17993v2
- Date: Mon, 10 Jun 2024 10:15:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 00:14:44.085032
- Title: MinBackProp -- Backpropagating through Minimal Solvers
- Title（参考訳）: MinBackProp -- 最小限の解決を通じてバックプロパゲート
- Authors: Diana Sungatullina, Tomas Pajdla,
- Abstract要約: インプリシット関数定理(IFT)を用いて微分を計算し、最小問題解法の解をバックプロパゲートすることは単純で高速で安定であることを示す。
本稿では,3次元点登録のための外乱除去重量をトレーニングするおもちゃの例と,画像マッチングにおける外乱除去とRANSACサンプリングネットワークの実際の応用について述べる。
- 参考スコア（独自算出の注目度）: 0.4604003661048266
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We present an approach to backpropagating through minimal problem solvers in end-to-end neural network training. Traditional methods relying on manually constructed formulas, finite differences, and autograd are laborious, approximate, and unstable for complex minimal problem solvers. We show that using the Implicit function theorem (IFT) to calculate derivatives to backpropagate through the solution of a minimal problem solver is simple, fast, and stable. We compare our approach to (i) using the standard autograd on minimal problem solvers and relate it to existing backpropagation formulas through SVD-based and Eig-based solvers and (ii) implementing the backprop with an existing PyTorch Deep Declarative Networks (DDN) framework. We demonstrate our technique on a toy example of training outlier-rejection weights for 3D point registration and on a real application of training an outlier-rejection and RANSAC sampling network in image matching. Our method provides $100\%$ stability and is 10 times faster compared to autograd, which is unstable and slow, and compared to DDN, which is stable but also slow.
- Abstract（参考訳）: 本稿では、エンドツーエンドのニューラルネットワークトレーニングにおいて、最小限の問題解決者を通してバックプロパゲーションを行うアプローチを提案する。
手作業で構築された公式、有限差分、オートグレードに依存する従来の手法は、複雑な最小限の問題解決者にとって、困難で近似的で不安定である。
インプリシット関数定理(IFT)を用いて微分を計算し、最小問題解法の解をバックプロパゲートすることは単純で高速で安定であることを示す。
私たちは我々のアプローチと比べる
i) 最小限の問題解法における標準オートグレードを用いて、SVDおよびEigに基づく解法を通して、既存のバックプロパゲーション公式に関連付けること。
(ii) 既存のPyTorch Deep Declarative Networks (DDN)フレームワークでバックプロップを実装する。
本稿では,3次元点登録のための外乱除去重量をトレーニングするおもちゃの例と,画像マッチングにおける外乱除去とRANSACサンプリングネットワークの実際の応用について述べる。
本手法は安定性が100\%で, 不安定で遅いオートグレードに比べて10倍高速であり, DDNは安定だが遅い。
関連論文リスト
- Stabilizing Linear Passive-Aggressive Online Learning with Weighted Reservoir Sampling [46.01254613933967]
オンライン学習手法は、高次元ストリーミングデータ、アウトオブコア処理、その他のスループットに敏感なアプリケーションに依然として有効である。
このようなアルゴリズムの多くは、その収束の鍵として個々のエラーへの高速な適応に依存している。
このようなアルゴリズムは理論上の後悔は少ないが、現実の展開では個々の外れ値に敏感であり、アルゴリズムが過度に修正される可能性がある。
論文 参考訳（メタデータ） (2024-10-31T03:35:48Z) - Robust Capped lp-Norm Support Vector Ordinal Regression [85.84718111830752]
正規回帰は、ラベルが固有の順序を示す特殊な教師付き問題である。
卓越した順序回帰モデルとしてのベクトル順序回帰は、多くの順序回帰タスクで広く使われている。
我々は,新たなモデルであるCapped $ell_p$-Norm Support Vector Ordinal Regression (CSVOR)を導入する。
論文 参考訳（メタデータ） (2024-04-25T13:56:05Z) - TSONN: Time-stepping-oriented neural network for solving partial
differential equations [1.9061608251056779]
この研究は、PDE問題を解決するために、タイムステッピング法とディープラーニングを統合する。
擬似タイムステッピング過程の軌跡に従うことにより、モデルトレーニングの収束性を大幅に改善する。
提案手法は,標準のPINNでは解けない多くの問題において,安定したトレーニングと正しい結果が得られることを示す。
論文 参考訳（メタデータ） (2023-10-25T09:19:40Z) - Learning to Optimize Permutation Flow Shop Scheduling via Graph-based
Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。
我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。
我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文 参考訳（メタデータ） (2022-10-31T09:46:26Z) - Fast and Robust Non-Rigid Registration Using Accelerated
Majorization-Minimization [35.66014845211251]
非剛性登録は、ターゲット形状と整合する非剛性な方法でソース形状を変形させるが、コンピュータビジョンにおける古典的な問題である。
既存のメソッドは通常$ell_p$型ロバストノルムを使用してアライメントエラーを測定し、変形の滑らかさを規則化する。
本稿では、アライメントと正規化のためのグローバルなスムーズなロバストノルムに基づく、ロバストな非剛体登録のための定式化を提案する。
論文 参考訳（メタデータ） (2022-06-07T16:00:33Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳（メタデータ） (2021-02-16T11:45:35Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳（メタデータ） (2020-09-11T11:56:34Z) - An Online Method for A Class of Distributionally Robust Optimization
with Non-Convex Objectives [54.29001037565384]
本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。
本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
論文 参考訳（メタデータ） (2020-06-17T20:19:25Z) - Physarum Powered Differentiable Linear Programming Layers and
Applications [48.77235931652611]
一般線形プログラミング問題に対する効率的かつ微分可能な解法を提案する。
本稿では,ビデオセグメンテーションタスクとメタラーニングにおける問題解決手法について述べる。
論文 参考訳（メタデータ） (2020-04-30T01:50:37Z) - Quasi-Newton Solver for Robust Non-Rigid Registration [35.66014845211251]
データフィッティングと正規化のための大域的スムーズなロバスト推定器に基づくロバストな非剛性登録のための定式化を提案する。
本稿では,L-BFGS を用いた最小二乗問題の解法に,各繰り返しを減らし,最大化最小化アルゴリズムを適用した。
論文 参考訳（メタデータ） (2020-04-09T01:45:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。