論文の概要: Learning Linearized Assignment Flows for Image Labeling
- arxiv url: http://arxiv.org/abs/2108.02571v1
- Date: Mon, 2 Aug 2021 13:38:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-07 02:59:49.376234
- Title: Learning Linearized Assignment Flows for Image Labeling
- Title（参考訳）: 画像ラベリングのための線形アサインメントフローの学習
- Authors: Alexander Zeilmann, Stefania Petra, Christoph Schn\"orr
- Abstract要約: 画像ラベリングのための線形化代入フローの最適パラメータを推定するための新しいアルゴリズムを提案する。
この式をKrylov部分空間と低ランク近似を用いて効率的に評価する方法を示す。
- 参考スコア（独自算出の注目度）: 70.540936204654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a novel algorithm for estimating optimal parameters of
linearized assignment flows for image labeling. An exact formula is derived for
the parameter gradient of any loss function that is constrained by the linear
system of ODEs determining the linearized assignment flow. We show how to
efficiently evaluate this formula using a Krylov subspace and a low-rank
approximation. This enables us to perform parameter learning by Riemannian
gradient descent in the parameter space, without the need to backpropagate
errors or to solve an adjoint equation, in less than 10 seconds for a
$512\times 512$ image using just about $0.5$ GB memory. Experiments demonstrate
that our method performs as good as highly-tuned machine learning software
using automatic differentiation. Unlike methods employing automatic
differentiation, our approach yields a low-dimensional representation of
internal parameters and their dynamics which helps to understand how networks
work and perform that realize assignment flows and generalizations thereof.
- Abstract（参考訳）: 画像ラベリングのための線形割当流れの最適パラメータを推定する新しいアルゴリズムを提案する。
線形化代入フローを決定するODEの線形系によって制約される任意の損失関数のパラメータ勾配に対して正確な式が導出される。
この式をKrylov部分空間と低ランク近似を用いて効率的に評価する方法を示す。
これにより、パラメータ空間におけるリーマン勾配降下によるパラメータ学習を、誤差をバックプロパゲートしたり、随伴方程式を10秒未満で解くことなく、約0.5$ gbメモリで512\times 512$イメージを実行できる。
実験により,本手法は自動微分を用いた高度に調整された機械学習ソフトウェアと同等の性能を示す。
自動微分を用いる手法とは異なり,本手法は内部パラメータとそのダイナミクスを低次元で表現し,ネットワークの動作を理解し,代入フローとその一般化を実現する。
関連論文リスト
- Information Geometry and Beta Link for Optimizing Sparse Variational Student-t Processes [6.37512592611305]
勾配勾配勾配を用いた実世界のデータセットの計算効率と柔軟性を向上させるために,学生Tプロセスが提案されている。
アダムのような伝統的な勾配降下法はパラメータ空間の幾何を十分に活用しない可能性があり、収束と準最適性能を遅くする可能性がある。
我々は,情報幾何学から自然勾配法を適用し,学生-tプロセスの変分パラメータ最適化を行う。
論文 参考訳（メタデータ） (2024-08-13T07:53:39Z) - Learning High-Dimensional Nonparametric Differential Equations via
Multivariate Occupation Kernel Functions [0.31317409221921133]
通常の微分方程式の非パラメトリック系を学ぶには、$d$変数の$d$関数を学ぶ必要がある。
明示的な定式化は、スパーシティや対称性といったシステム特性に関する追加の知識が得られない限り、$d$で2次的にスケールする。
本稿では,ベクトル値の再現Kernel Hilbert Spacesによる暗黙の定式化を用いた線形学習手法を提案する。
論文 参考訳（メタデータ） (2023-06-16T21:49:36Z) - Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳（メタデータ） (2023-05-31T03:48:49Z) - Adaptive scaling of the learning rate by second order automatic
differentiation [0.0]
自動微分の新たな手法を用いて学習率を再スケールすることを提案する。
再スケーリングは適応的であり、データや降下方向に依存する。
数値実験は、様々な探査・収束体制を浮き彫りにした。
論文 参考訳（メタデータ） (2022-10-26T07:14:56Z) - A Deep Gradient Correction Method for Iteratively Solving Linear Systems [5.744903762364991]
本稿では, 方程式の大, 疎, 対称, 正定値線形系の解を近似する新しい手法を提案する。
我々のアルゴリズムは、少数の反復で与えられた許容度に残留する線形系を減少させることができる。
論文 参考訳（メタデータ） (2022-05-22T06:40:38Z) - Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。
そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。
後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
論文 参考訳（メタデータ） (2022-03-19T13:39:49Z) - Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。
学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。
本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文 参考訳（メタデータ） (2022-03-02T22:35:58Z) - Deep Learning Approximation of Diffeomorphisms via Linear-Control
Systems [91.3755431537592]
我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。
対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
論文 参考訳（メタデータ） (2021-10-24T08:57:46Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳（メタデータ） (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。