Fugu-MT 論文翻訳(概要): Input Convex Gradient Networks

論文の概要: Input Convex Gradient Networks

arxiv url: http://arxiv.org/abs/2111.12187v1
Date: Tue, 23 Nov 2021 22:51:25 GMT
ステータス: 処理完了
システム内更新日: 2021-11-25 14:40:07.412368
Title: Input Convex Gradient Networks
Title（参考訳）: 入力凸勾配ネットワーク
Authors: Jack Richter-Powell, Jonathan Lorraine, Brandon Amos
Abstract要約: ニューラルネットワークによりパラメータ化されたヤコビアンベクトル積を統合することにより凸勾配をモデル化する方法を検討する。我々は,単一層ICGNが単一層ICNNよりもおもちゃの例に適合できることを実証的に実証した。
参考スコア（独自算出の注目度）: 7.747759814657507
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The gradients of convex functions are expressive models of non-trivial vector fields. For example, Brenier's theorem yields that the optimal transport map between any two measures on Euclidean space under the squared distance is realized as a convex gradient, which is a key insight used in recent generative flow models. In this paper, we study how to model convex gradients by integrating a Jacobian-vector product parameterized by a neural network, which we call the Input Convex Gradient Network (ICGN). We theoretically study ICGNs and compare them to taking the gradient of an Input-Convex Neural Network (ICNN), empirically demonstrating that a single layer ICGN can fit a toy example better than a single layer ICNN. Lastly, we explore extensions to deeper networks and connections to constructions from Riemannian geometry.
Abstract（参考訳）: 凸関数の勾配は非自明なベクトル場の表現モデルである。例えば、ブレニエの定理は、二乗距離のユークリッド空間上の任意の2つの測度の間の最適輸送写像は凸勾配として実現され、これは最近の生成フローモデルにおいて重要な洞察である。本稿では,ニューラルネットワークによってパラメータ化されたヤコビ-ベクトル積を統合することで,凸勾配をモデル化する方法について検討する。 ICGNを理論的に研究し、ICNN(Input-Convex Neural Network)の勾配と比較し、単一の層ICGNが単一の層ICNNよりもおもちゃの例に適合できることを実証的に示す。最後に、より深いネットワークへの拡張とリーマン幾何学による構成への接続について検討する。

関連論文リスト

Understanding the training of infinitely deep and wide ResNets with Conditional Optimal Transport [26.47265060394168]
深部ニューラルネットワークの勾配流は遠距離で任意に収束することを示す。これは空間における有限幅の勾配距離の理論に依存する。
論文参考訳（メタデータ） (2024-03-19T16:34:31Z)
The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。本稿では,凸型神経回復モデルについて検討する。定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文参考訳（メタデータ） (2023-12-19T23:04:56Z)
Identification of vortex in unstructured mesh with graph neural networks [0.0]
本稿では,非構造化メッシュ上でのCFD結果の渦を特定するために,U-Netアーキテクチャを用いたグラフニューラルネットワーク(GNN)に基づくモデルを提案する。 2次元CFDメッシュにおける渦領域をラベル付けするための渦自動ラベル法を提案する。
論文参考訳（メタデータ） (2023-11-11T12:10:16Z)
Approximation Results for Gradient Descent trained Neural Networks [0.0]
ネットワークは完全に接続された一定の深さ増加幅である。連続カーネルエラーノルムは、滑らかな関数に必要な自然な滑らかさの仮定の下での近似を意味する。
論文参考訳（メタデータ） (2023-09-09T18:47:55Z)
On the Approximation of Bi-Lipschitz Maps by Invertible Neural Networks [3.7072693116122752]
Invertible Neural Network(INN)は、ディープニューラルネットワークアーキテクチャの重要なクラスである。コンパクト領域上でのバイリプシッツ連続写像を近似するために,結合型 INN のクラスが持つキャパシティを解析する。我々は、前方と逆写像を同時に近似する無限次元空間上の双Lipschitz写像を近似するアプローチを開発する。
論文参考訳（メタデータ） (2023-08-18T08:01:45Z)
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文参考訳（メタデータ） (2022-05-11T17:43:54Z)
On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文参考訳（メタデータ） (2022-04-22T15:56:43Z)
A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
論文参考訳（メタデータ） (2021-02-18T19:39:22Z)
Convex Optimization with an Interpolation-based Projection and its Application to Deep Learning [36.19092177858517]
提案手法は,不正確なが,より安価な投影法により,降下アルゴリズムを最適に駆動できるかどうかを考察する。具体的には,凸,領域定義,関数が与えられた場合,計算コストが低く,計算が容易な非コンパクトなプロジェクションを提案する。
論文参考訳（メタデータ） (2020-11-13T16:52:50Z)
Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文参考訳（メタデータ） (2020-04-19T09:43:14Z)
Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
論文参考訳（メタデータ） (2020-02-25T18:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。