論文の概要: ASDL: A Unified Interface for Gradient Preconditioning in PyTorch

• arxiv url: http://arxiv.org/abs/2305.04684v1
• Date: Mon, 8 May 2023 12:59:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 14:18:21.083647
• Title: ASDL: A Unified Interface for Gradient Preconditioning in PyTorch
• Title（参考訳）: ASDL: PyTorchのグラディエントプレコンディショニングのための統一インターフェース
• Authors: Kazuki Osawa, Satoki Ishikawa, Rio Yokota, Shigang Li, and Torsten Hoefler
• Abstract要約: グラディエントプレコンディショニングは、2階の情報を構造化された勾配に基づく学習アルゴリズムに統合する鍵となる手法である。 PyTorchity のための自動二階微分ライブラリ (ASDL) を提案する。
• 参考スコア（独自算出の注目度）: 19.181058754821933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient preconditioning is a key technique to integrate the second-order information into gradients for improving and extending gradient-based learning algorithms. In deep learning, stochasticity, nonconvexity, and high dimensionality lead to a wide variety of gradient preconditioning methods, with implementation complexity and inconsistent performance and feasibility. We propose the Automatic Second-order Differentiation Library (ASDL), an extension library for PyTorch, which offers various implementations and a plug-and-play unified interface for gradient preconditioning. ASDL enables the study and structured comparison of a range of gradient preconditioning methods.
• Abstract（参考訳）: グラディエントプレコンディショニングは、勾配に基づく学習アルゴリズムの改良と拡張のために、2次情報をグラディエントに統合する重要な手法である。 ディープラーニング、確率性、非凸性、高次元性は、実装の複雑さや不整合性、実現可能性など、幅広い勾配事前条件法をもたらす。 本稿では,PyTorchの拡張ライブラリであるAutomatic Second-order Differentiation Library (ASDL)を提案する。 ASDLは、様々な勾配事前条件法の研究と構造比較を可能にする。

関連論文リスト

• Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement [29.675650285351768]
  深層ニューラルネットワークのプライバシーと信頼性を高めるために、機械学習(MU)が登場した。 近似MUは大規模モデルの実用的手法である。 本稿では,最新の学習方向を暗黙的に近似する高速スローパラメータ更新手法を提案する。
  論文  参考訳（メタデータ） (2024-09-29T15:17:33Z)
• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Class Gradient Projection For Continual Learning [99.105266615448]
  破滅的な忘れは継続的学習(CL)における最も重要な課題の1つです。 タスクではなく個々のクラスから勾配部分空間を計算するクラスグラディエント・プロジェクション(CGP)を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:45:56Z)
• Learned Gradient of a Regularizer for Plug-and-Play Gradient Descent [37.41458921829744]
  Plug-and-Playフレームワークは、事前の高度なイメージをアルゴリズムに統合することを可能にする。 Denoising (RED)アルゴリズムによる正規化は、画像復元において画期的な方法の2つの例である。 正規化器の勾配に対応するネットワークとともにデノイザを訓練することが可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-29T08:33:33Z)
• Gradient Correction beyond Gradient Descent [63.33439072360198]
  勾配補正は明らかに、ニューラルネットワークのトレーニングにおいて、最も重要な側面である。 勾配補正を行うためのフレームワーク(textbfGCGD)を導入する。 実験結果から, 勾配補正フレームワークは, トレーニングエポックスを$sim$20%削減し, ネットワーク性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-03-16T01:42:25Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• SSGD: A safe and efficient method of gradient descent [0.5099811144731619]
  勾配降下法は様々な最適化問題を解く上で重要な役割を果たしている。 超勾配降下法による勾配長の隠蔽によるパラメータの更新 我々のアルゴリズムは勾配に対する攻撃に対して防御できる。
  論文  参考訳（メタデータ） (2020-12-03T17:09:20Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。