Fugu-MT 論文翻訳(概要): The Hessian of tall-skinny networks is easy to invert

論文の概要: The Hessian of tall-skinny networks is easy to invert

arxiv url: http://arxiv.org/abs/2601.06096v3
Date: Wed, 14 Jan 2026 16:23:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-25 16:54:51.636053
Title: The Hessian of tall-skinny networks is easy to invert
Title（参考訳）: 背の高いスキニーネットワークのヘシアンは逆転し易い
Authors: Ali Rahimi,
Abstract要約: Hx=b$ ここで、$H$はディープネットのヘシアンである。この方法は、ヘッセンの逆ベクトル積を、ヘッセンの逆積を格納することなく計算する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We describe an exact algorithm to solve linear systems of the form $Hx=b$ where $H$ is the Hessian of a deep net. The method computes Hessian-inverse-vector products without storing the Hessian or its inverse. It requires time and storage that scale linearly in the number of layers. This is in contrast to the naive approach of first computing the Hessian, then solving the linear system, which takes storage and time that are respectively quadratic and cubic in the number of layers. The Hessian-inverse-vector product method scales roughly like Pearlmutter's algorithm for computing Hessian-vector products.
Abstract（参考訳）: Hx=b$ ここで、$H$はディープネットのヘシアンである。この方法は、ヘッセンの逆ベクトル積を、ヘッセンの逆積を格納することなく計算する。レイヤ数で線形にスケールする時間とストレージが必要です。これは、最初に Hessian を計算し、次の線形系を解くという単純なアプローチとは対照的である。 Hessian-inverse-vector product法は、Hessian-vector productを計算するためのPearlmutterのアルゴリズムと大まかに類似している。

関連論文リスト

An Efficient Decomposition of the Carleman Linearized Burgers' Equation [0.0]
カルマン線形化法を用いて非線形バーガースの方程式を無限線形系に写像する。この新たな有限線型系は、行列を線形結合に分解できるというキー特性を持つより大きな方程式系に埋め込まれる。これは、カールマン線形化システムの最初の効率的なデータロード方法である。
論文参考訳（メタデータ） (2025-05-01T04:18:28Z)
An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-09-30T15:57:14Z)
High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
共分散行列の明示的な構成を避ける新しい推論手法を提案する。本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
論文参考訳（メタデータ） (2022-02-25T16:35:26Z)
Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
論文参考訳（メタデータ） (2022-01-31T13:02:41Z)
Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文参考訳（メタデータ） (2021-09-10T07:01:15Z)
Improving quantum linear system solvers via a gradient descent perspective [3.0969191504482247]
我々は凸最適化の観点から量子線形系解法を再考する。これにより、実行時にかなりの定数のイテレーションが発生します。本研究では,子・子・子・ソマの最適量子線形系解法が勾配降下アルゴリズムとどのように関係しているかを示す。
論文参考訳（メタデータ） (2021-09-09T13:16:28Z)
Efficient Matrix-Free Approximations of Second-Order Information, with Applications to Pruning and Optimization [16.96639526117016]
Inverse-Hessian Vector Products (IHVPs) の行列のない線形時間アプローチについて検討する。これらのアルゴリズムは、既存の2階法と比較して計算オーバーヘッドが低いネットワークプルーニングと最適化の最先端結果をもたらす。
論文参考訳（メタデータ） (2021-07-07T17:01:34Z)
Correcting Momentum with Second-order Information [50.992629498861724]
最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
論文参考訳（メタデータ） (2021-03-04T19:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。