論文の概要: Gradient Networks

• arxiv url: http://arxiv.org/abs/2404.07361v2
• Date: Tue, 12 Nov 2024 19:08:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:09:38.507462
• Title: Gradient Networks
• Title（参考訳）: グラディエントネットワーク
• Authors: Shreyas Chaudhari, Srinivasa Pranav, José M. F. Moura,
• Abstract要約: 凸勾配を表す包括的なGradNet設計フレームワークを提供する。 GradNetsは神経勾配関数を近似できることを示す。 また,モノトンGradNetsは,パラメータ化の効率化と既存手法の高性能化を図っている。
• 参考スコア（独自算出の注目度）: 11.930694410868435
• License:
• Abstract: Directly parameterizing and learning gradients of functions has widespread significance, with specific applications in inverse problems, generative modeling, and optimal transport. This paper introduces gradient networks (GradNets): novel neural network architectures that parameterize gradients of various function classes. GradNets exhibit specialized architectural constraints that ensure correspondence to gradient functions. We provide a comprehensive GradNet design framework that includes methods for transforming GradNets into monotone gradient networks (mGradNets), which are guaranteed to represent gradients of convex functions. Our results establish that our proposed GradNet (and mGradNet) universally approximate the gradients of (convex) functions. Furthermore, these networks can be customized to correspond to specific spaces of potential functions, including transformed sums of (convex) ridge functions. Our analysis leads to two distinct GradNet architectures, GradNet-C and GradNet-M, and we describe the corresponding monotone versions, mGradNet-C and mGradNet-M. Our empirical results demonstrate that these architectures provide efficient parameterizations and outperform existing methods by up to 15 dB in gradient field tasks and by up to 11 dB in Hamiltonian dynamics learning tasks.
• Abstract（参考訳）: 関数の直接パラメタライズと学習勾配は、逆問題、生成的モデリング、最適輸送に特に応用されるなど、幅広い意味を持つ。 本稿では,様々な関数クラスの勾配をパラメータ化するニューラルネットワークアーキテクチャについて述べる。 GradNetsは、勾配関数に対応するための特別なアーキテクチャ上の制約を示す。 我々は,GradNetをモノトーン勾配ネットワーク(mGradNet)に変換する手法を含む包括的GradNet設計フレームワークを提供し,凸関数の勾配を表すことを保証している。 我々の結果は,提案したGradNet(およびmGradNet)が(凸)関数の勾配を普遍的に近似することを証明している。 さらに、これらのネットワークは(凸)リッジ関数の変換和を含むポテンシャル関数の特定の空間に対応するようにカスタマイズすることができる。 解析の結果,GradNet-CとGradNet-Mの2つの異なるアーキテクチャが導かれ,対応するモノトーンバージョンであるmGradNet-CとmGradNet-Mが記述された。 実験の結果、これらのアーキテクチャは、勾配場タスクでは最大15dB、ハミルトン力学学習タスクでは最大11dBの効率でパラメータ化を行い、既存の手法より優れていることが示された。

関連論文リスト

• How to guess a gradient [68.98681202222664]
  我々は、勾配が以前考えられていたよりもより構造化されていることを示す。 この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。 厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
  論文  参考訳（メタデータ） (2023-12-07T21:40:44Z)
• Learning Gradients of Convex Functions with Monotone Gradient Networks [5.220940151628734]
  凸関数の勾配は、勾配に基づく最適化から最適輸送まで、重要な応用を持つ。 近年、凸目標学習のためのデータ駆動手法が研究されているが、そのモノトーン勾配の学習はほとんど研究されていない。 我々のネットワークは、トレーニングが簡単で、モノトーン勾配場をより正確に学習し、最先端の手法よりもはるかに少ないパラメータを使用することを示す。
  論文  参考訳（メタデータ） (2023-01-25T23:04:50Z)
• Gradient Gating for Deep Multi-Rate Learning on Graphs [62.25886489571097]
  グラフニューラルネットワーク(GNN)の性能向上のための新しいフレームワークであるグラディエントゲーティング(G$2$)を提案する。 我々のフレームワークは,GNN層の出力を,基盤となるグラフのノード間でのメッセージパッシング情報のマルチレートフローのメカニズムでゲーティングすることに基づいている。
  論文  参考訳（メタデータ） (2022-10-02T13:19:48Z)
• Gradient Correction beyond Gradient Descent [63.33439072360198]
  勾配補正は明らかに、ニューラルネットワークのトレーニングにおいて、最も重要な側面である。 勾配補正を行うためのフレームワーク(textbfGCGD)を導入する。 実験結果から, 勾配補正フレームワークは, トレーニングエポックスを$sim$20%削減し, ネットワーク性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-03-16T01:42:25Z)
• Proxy Convexity: A Unified Framework for the Analysis of Neural Networks Trained by Gradient Descent [95.94432031144716]
  学習ネットワークの分析のための統合された非最適化フレームワークを提案する。 既存の保証は勾配降下により統一することができることを示す。
  論文  参考訳（メタデータ） (2021-06-25T17:45:00Z)
• Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
  勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。 本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
  論文  参考訳（メタデータ） (2021-03-26T18:55:08Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• Gradients as Features for Deep Representation Learning [26.996104074384263]
  本稿では,事前学習したディープ・ネットワークを様々なタスクに適応させることによって,ディープ・表現学習の課題に対処する。 我々の重要な革新は、事前訓練されたネットワークの勾配と活性化の両方を組み込んだ線形モデルの設計である。 我々は,実際の勾配を計算せずに,モデルのトレーニングと推論を効率的に行うアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-04-12T02:57:28Z)
• Gradient Boosting Neural Networks: GrowNet [9.0491536808974]
  「浅層ニューラルネットワークを弱学習者として活用する新しい勾配促進フレームワーク」が提案されている。 古典的な勾配上昇決定木を近似した欲求関数の落とし穴を修復するために、完全な補正ステップが組み込まれている。 提案モデルでは、複数のデータセット上の3つのタスクすべてにおいて、最先端のブースティング手法よりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-02-19T03:02:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。