Fugu-MT 論文翻訳(概要): Gradient flow in parameter space is equivalent to linear interpolation in output space

論文の概要: Gradient flow in parameter space is equivalent to linear interpolation in output space

arxiv url: http://arxiv.org/abs/2408.01517v1
Date: Fri, 2 Aug 2024 18:23:17 GMT
ステータス: 処理完了
システム内更新日: 2024-08-06 19:49:47.526471
Title: Gradient flow in parameter space is equivalent to linear interpolation in output space
Title（参考訳）: パラメータ空間における勾配流は出力空間における線形補間と等価である
Authors: Thomas Chen, Patrícia Muñoz Ewald,
Abstract要約: ディープラーニングにおけるニューラルネットワークのトレーニングアルゴリズムの根底にあるパラメータ空間における通常の勾配流は、適応された勾配流に連続的に変形可能であることを証明した。また、パラメータに関する出力のヤコビアンがフルランクであれば、時間変数は単に線形となるように再パラメータ化できることを示す。
参考スコア（独自算出の注目度）: 1.189367612437469
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We prove that the usual gradient flow in parameter space that underlies many training algorithms for neural networks in deep learning can be continuously deformed into an adapted gradient flow which yields (constrained) Euclidean gradient flow in output space. Moreover, if the Jacobian of the outputs with respect to the parameters is full rank (for fixed training data), then the time variable can be reparametrized so that the resulting flow is simply linear interpolation, and a global minimum can be achieved.
Abstract（参考訳）: 深層学習におけるニューラルネットワークのトレーニングアルゴリズムの根底にあるパラメータ空間における通常の勾配流は、連続的に適応された勾配流に変形し、出力空間におけるユークリッド勾配流を生じることを証明した。さらに、パラメータに関する出力のヤコビアンが完全ランク(固定トレーニングデータ)であれば、時間変数は単に線形補間であり、大域的な最小値が得られるように再パラメータ化することができる。

関連論文リスト

Global $\mathcal{L}^2$ minimization at uniform exponential rate via geometrically adapted gradient descent in Deep Learning [1.4050802766699084]
本稿では,ディープラーニング(DL)ネットワークにおける教師あり学習のシナリオについて考察する。 DLネットワークの出力層におけるユークリッド計量に対する勾配流を選択する。
論文参考訳（メタデータ） (2023-11-27T02:12:02Z)
Aiming towards the minimizers: fast convergence of SGD for overparametrized problems [25.077446336619378]
本稿では,勾配法と同一のケース複雑性を有する勾配法を提案する。既存の保証は全て勾配法で小さなステップを踏む必要があり、結果として収束速度ははるかに遅くなる。我々は,線形出力層を用いた十分に広いフィードフォワードニューラルネットワークのトレーニングにおいて,この条件が成り立つことを実証した。
論文参考訳（メタデータ） (2023-06-05T05:21:01Z)
Dynamic Flows on Curved Space Generated by Labeled Data [17.621847430986854]
興味のあるデータセットに近い新しいサンプルを生成するための勾配流法を提案する。本手法は,移動学習環境における分類モデルの精度を向上させることができることを示す。
論文参考訳（メタデータ） (2023-01-31T19:53:01Z)
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文参考訳（メタデータ） (2022-10-13T15:09:54Z)
Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文参考訳（メタデータ） (2022-03-02T22:35:58Z)
Spatio-Temporal Variational Gaussian Processes [26.60276485130467]
時空間フィルタリングと自然変動推論を組み合わせたガウス過程推論にスケーラブルなアプローチを導入する。還元された誘導点集合上で状態空間モデルを構成するスパース近似を導出する。分離可能なマルコフカーネルの場合、完全スパースケースは標準変分GPを正確に回復する。
論文参考訳（メタデータ） (2021-11-02T16:53:31Z)
Deep Learning Approximation of Diffeomorphisms via Linear-Control Systems [91.3755431537592]
我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
論文参考訳（メタデータ） (2021-10-24T08:57:46Z)
Learning Linearized Assignment Flows for Image Labeling [70.540936204654]
画像ラベリングのための線形化代入フローの最適パラメータを推定するための新しいアルゴリズムを提案する。この式をKrylov部分空間と低ランク近似を用いて効率的に評価する方法を示す。
論文参考訳（メタデータ） (2021-08-02T13:38:09Z)
Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
本稿では,畳み込みニューラルネットワークの最適化手法を提案する。出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
論文参考訳（メタデータ） (2020-08-25T00:44:09Z)
A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。