論文の概要: Dual Gauss-Newton Directions for Deep Learning

• arxiv url: http://arxiv.org/abs/2308.08886v1
• Date: Thu, 17 Aug 2023 09:44:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 17:15:29.527790
• Title: Dual Gauss-Newton Directions for Deep Learning
• Title（参考訳）: 深層学習のための2重gauss-newton方向
• Authors: Vincent Roulet, Mathieu Blondel
• Abstract要約: ガウスニュートンのような手法に着想を得て,ディープラーニングの目的の構造を活用する利点について検討した。 このような方向オーラクルを2つの定式化によって計算し,計算上の利点と新たな洞察を両立させることを提案する。
• 参考スコア（独自算出の注目度）: 16.77273032202006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inspired by Gauss-Newton-like methods, we study the benefit of leveraging the structure of deep learning objectives, namely, the composition of a convex loss function and of a nonlinear network, in order to derive better direction oracles than stochastic gradients, based on the idea of partial linearization. In a departure from previous works, we propose to compute such direction oracles via their dual formulation, leading to both computational benefits and new insights. We demonstrate that the resulting oracles define descent directions that can be used as a drop-in replacement for stochastic gradients, in existing optimization algorithms. We empirically study the advantage of using the dual formulation as well as the computational trade-offs involved in the computation of such oracles.
• Abstract（参考訳）: そこで,gauss-newton様の手法に触発されて,部分線形化の考え方に基づく確率的勾配よりもより良い方向神託を導出するために,凸損失関数と非線形ネットワークの構成という,深層学習対象の構造を活用する利点について検討した。 本研究は,従来の研究から離れて,その2つの定式化による方向オラクルの計算を提案し,計算上の利点と新たな洞察をもたらす。 我々は,既存の最適化アルゴリズムにおいて,確率勾配のドロップイン代替として使用できる降下方向を定義することを実証した。 本稿では, 二重定式化の利点と, このようなオラクルの計算にかかわる計算トレードオフを実証的に検討する。

関連論文リスト

• Debiasing Mini-Batch Quadratics for Applications in Deep Learning [22.90473935350847]
  二次近似は、機械学習の手法の基本的な構成要素を形成する。 トレーニングセット全体の計算が(ディープラーニングに典型的な)難易度の高い場合、関連する量はミニバッチ上で計算される。 このバイアスは体系的な誤りを生じさせ, (ii) 理論的に説明し, (iii) 深層学習におけるラプラス近似による2次最適化と不確実性の関係を説明し, (iv) 偏見戦略の開発と評価を行う。
  論文  参考訳（メタデータ） (2024-10-18T09:37:05Z)
• Adaptive Quantum Generative Training using an Unbounded Loss Function [1.0485739694839669]
  本稿では,適応微分組立問題Talored ansatzフレームワークを用いた生成量子学習アルゴリズムR'enyi-ADAPTを提案する。 ランダムな2局所熱状態の学習により,この手法を他の最先端適応アルゴリズムと比較した。 R'enyi-ADAPTは、既存の手法と競合する浅い量子回路を構築することができるが、R'enyi分散損失関数により勾配は良好であることを示す。
  論文  参考訳（メタデータ） (2024-08-01T01:04:53Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• SHINE: SHaring the INverse Estimate from the forward pass for bi-level optimization and implicit models [15.541264326378366]
  近年,深層ニューラルネットワークの深度を高める手法として暗黙の深度学習が登場している。 トレーニングは双レベル問題として実行され、その計算複雑性は巨大なヤコビ行列の反復反転によって部分的に駆動される。 本稿では,この計算ボトルネックに対処する新たな手法を提案する。
  論文  参考訳（メタデータ） (2021-06-01T15:07:34Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。