論文の概要: ViViT: Curvature access through the generalized Gauss-Newton's low-rank structure

• arxiv url: http://arxiv.org/abs/2106.02624v1
• Date: Fri, 4 Jun 2021 17:37:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 16:01:59.667586
• Title: ViViT: Curvature access through the generalized Gauss-Newton's low-rank structure
• Title（参考訳）: vivit:gauss-newtonの低ランク構造による曲率アクセス
• Authors: Felix Dangel, Lukas Tatzel, Philipp Hennig
• Abstract要約: ヘッセンあるいはその一般化されたガウスニュートン(GGN)近似の形での曲線は、深層ネットワークの訓練、圧縮、説明の損失に局所モデルに依存するアルゴリズムに有用である。 本稿では,GGNの低ランク構造を利用した曲率モデルViViTを提案する。
• 参考スコア（独自算出の注目度）: 26.24282086797512
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Curvature in form of the Hessian or its generalized Gauss-Newton (GGN) approximation is valuable for algorithms that rely on a local model for the loss to train, compress, or explain deep networks. Existing methods based on implicit multiplication via automatic differentiation or Kronecker-factored block diagonal approximations do not consider noise in the mini-batch. We present ViViT, a curvature model that leverages the GGN's low-rank structure without further approximations. It allows for efficient computation of eigenvalues, eigenvectors, as well as per-sample first- and second-order directional derivatives. The representation is computed in parallel with gradients in one backward pass and offers a fine-grained cost-accuracy trade-off, which allows it to scale. As examples for ViViT's usefulness, we investigate the directional gradients and curvatures during training, and how noise information can be used to improve the stability of second-order methods.
• Abstract（参考訳）: ヘッセンあるいはその一般化されたガウスニュートン(GGN)近似の形での曲線は、深層ネットワークの訓練、圧縮、説明の損失に局所モデルに依存するアルゴリズムに有用である。 自動微分あるいはクロネッカー分解ブロック対角近似による暗黙的乗法に基づく既存の方法は、ミニバッチのノイズを考慮しない。 本稿では,GGNの低ランク構造を利用した曲率モデルViViTを提案する。 固有値、固有ベクトル、およびサンプルごとの1階および2階方向微分の効率的な計算を可能にする。 この表現は、1つの後方通過の勾配と平行に計算され、スケール可能な、きめ細かいコスト精度のトレードオフを提供する。 ViViTの有用性の例として、トレーニング中の方向勾配と曲率、および2次法の安定性向上にノイズ情報をどのように利用できるかを検討する。

関連論文リスト

• Epistemic Uncertainty and Observation Noise with the Neural Tangent Kernel [12.464924018243988]
  近年の研究では、勾配降下による広いニューラルネットワークのトレーニングは、ガウス過程における後部分布の平均を計算することと正式に等価であることが示されている。 非ゼロアレタリックノイズに対処する方法を示し, 後部共分散推定器を導出する。
  論文  参考訳（メタデータ） (2024-09-06T00:34:44Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Machine learning algorithms for three-dimensional mean-curvature computation in the level-set method [0.0]
  レベルセット法のためのデータ駆動平均曲率解法を提案する。 提案方式は, 現在の粒子界面再構成よりも高精度な平均曲率推定を行うことができる。
  論文  参考訳（メタデータ） (2022-08-18T20:19:22Z)
• Error-Correcting Neural Networks for Two-Dimensional Curvature Computation in the Level-Set Method [0.0]
  本稿では,2次元曲率をレベルセット法で近似するための誤差ニューラルモデルに基づく手法を提案する。 我々の主な貢献は、需要に応じて機械学習操作を可能にする数値スキームに依存する、再設計されたハイブリッド・ソルバである。
  論文  参考訳（メタデータ） (2022-01-22T05:14:40Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。