論文の概要: Learning Gradients of Convex Functions with Monotone Gradient Networks
- arxiv url: http://arxiv.org/abs/2301.10862v1
- Date: Wed, 25 Jan 2023 23:04:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-27 14:57:42.033578
- Title: Learning Gradients of Convex Functions with Monotone Gradient Networks
- Title（参考訳）: モノトーン勾配ネットワークを用いた凸関数の勾配学習
- Authors: Shreyas Chaudhari, Srinivasa Pranav, Jos\'e M. F. Moura
- Abstract要約: 凸関数の勾配は、勾配に基づく最適化から最適輸送まで、重要な応用を持つ。
近年、凸目標学習のためのデータ駆動手法が研究されているが、そのモノトーン勾配の学習はほとんど研究されていない。
我々のネットワークは、トレーニングが簡単で、モノトーン勾配場をより正確に学習し、最先端の手法よりもはるかに少ないパラメータを使用することを示す。
- 参考スコア（独自算出の注目度）: 5.220940151628734
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: While much effort has been devoted to deriving and studying effective convex
formulations of signal processing problems, the gradients of convex functions
also have critical applications ranging from gradient-based optimization to
optimal transport. Recent works have explored data-driven methods for learning
convex objectives, but learning their monotone gradients is seldom studied. In
this work, we propose Cascaded and Modular Monotone Gradient Networks (C-MGN
and M-MGN respectively), two monotone gradient neural network architectures for
directly learning the gradients of convex functions. We show that our networks
are simpler to train, learn monotone gradient fields more accurately, and use
significantly fewer parameters than state of the art methods. We further
demonstrate their ability to learn optimal transport mappings to augment
driving image data.
- Abstract（参考訳）: 信号処理問題の効率的な凸定式化の導出と研究に多くの努力が注がれているが、凸関数の勾配は勾配に基づく最適化から最適輸送まで重要な応用も持っている。
近年、凸目標学習のためのデータ駆動手法が研究されているが、そのモノトーン勾配の学習はほとんど研究されていない。
本研究では, コンベックス関数の勾配を直接学習する2つのモノトーン勾配ニューラルネットワークアーキテクチャであるCascadedおよびModular Monotone Gradient Networks(C-MGNおよびM-MGN)を提案する。
我々のネットワークはトレーニングが簡単で、モノトーン勾配場をより正確に学習し、最先端の手法よりもはるかに少ないパラメータを使用することを示す。
さらに、運転画像データを増やすために最適な輸送マッピングを学習する能力を示す。
関連論文リスト
- Gradient Networks [11.930694410868435]
凸勾配を表す包括的なGradNet設計フレームワークを提供する。
GradNetsは神経勾配関数を近似できることを示す。
また,モノトンGradNetsは,パラメータ化の効率化と既存手法の高性能化を図っている。
論文 参考訳（メタデータ） (2024-04-10T21:36:59Z) - Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。
学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。
本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文 参考訳（メタデータ） (2022-03-02T22:35:58Z) - Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。
提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-10-31T18:35:10Z) - Efficient Differentiable Simulation of Articulated Bodies [89.64118042429287]
本稿では, 音素の効率的な微分可能シミュレーション法を提案する。
これにより、ボディダイナミクスを深層学習フレームワークに統合することが可能になる。
提案手法を用いて, 調音システムによる強化学習を高速化できることを示す。
論文 参考訳（メタデータ） (2021-09-16T04:48:13Z) - Cogradient Descent for Dependable Learning [64.02052988844301]
双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。
CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。
また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
論文 参考訳（メタデータ） (2021-06-20T04:28:20Z) - Channel-Directed Gradients for Optimization of Convolutional Neural
Networks [50.34913837546743]
本稿では,畳み込みニューラルネットワークの最適化手法を提案する。
出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
論文 参考訳（メタデータ） (2020-08-25T00:44:09Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。