論文の概要: Generalized Gradient Descent is a Hypergraph Functor

• arxiv url: http://arxiv.org/abs/2403.19845v1
• Date: Thu, 28 Mar 2024 21:37:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 17:04:07.360605
• Title: Generalized Gradient Descent is a Hypergraph Functor
• Title（参考訳）: 一般化グラディエントDescentはハイパーグラフファクターである
• Authors: Tyler Hanks, Matthew Klawonn, James Fairbanks,
• Abstract要約: 勾配降下は最適化問題のハイパーグラフ圏から力学系のハイパーグラフ圏へハイパーグラフ関手を誘導することを示す。 本稿では、ハイパーグラフ関手が、ドメイン内で指定された任意の合成問題に対して分散最適化アルゴリズムをいかに誘導するかを説明する。
• 参考スコア（独自算出の注目度）: 0.8602553195689511
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cartesian reverse derivative categories (CRDCs) provide an axiomatic generalization of the reverse derivative, which allows generalized analogues of classic optimization algorithms such as gradient descent to be applied to a broad class of problems. In this paper, we show that generalized gradient descent with respect to a given CRDC induces a hypergraph functor from a hypergraph category of optimization problems to a hypergraph category of dynamical systems. The domain of this functor consists of objective functions that are 1) general in the sense that they are defined with respect to an arbitrary CRDC, and 2) open in that they are decorated spans that can be composed with other such objective functions via variable sharing. The codomain is specified analogously as a category of general and open dynamical systems for the underlying CRDC. We describe how the hypergraph functor induces a distributed optimization algorithm for arbitrary composite problems specified in the domain. To illustrate the kinds of problems our framework can model, we show that parameter sharing models in multitask learning, a prevalent machine learning paradigm, yield a composite optimization problem for a given choice of CRDC. We then apply the gradient descent functor to this composite problem and describe the resulting distributed gradient descent algorithm for training parameter sharing models.
• Abstract（参考訳）: 直交逆微分圏 (CRDC) は、逆微分の公理的一般化を提供し、勾配降下のような古典最適化アルゴリズムの一般化された類似を幅広い問題に応用することができる。 本稿では、与えられたCRDCに対する一般化勾配勾配勾配は、最適化問題のハイパーグラフ圏から力学系のハイパーグラフ圏へハイパーグラフ関手を誘導することを示す。 この関手の領域は、対象函数からなる。 1)任意のCRDCに関して定義されているという意味での一般 2) 変数共有を通じて他の目的関数で構成できるスパンを装飾すること。 コドメインは、基礎となるCRDCの一般およびオープンな力学系のカテゴリとして類似して定義される。 本稿では、ハイパーグラフ関手が、ドメイン内で指定された任意の合成問題に対して分散最適化アルゴリズムをいかに誘導するかを説明する。 機械学習のパラダイムであるマルチタスク学習におけるパラメータ共有モデルが,CRDCの任意の選択に対して複合最適化問題をもたらすことを示す。 次に、この合成問題に勾配降下関手を適用し、パラメータ共有モデルの学習のための分散勾配降下アルゴリズムについて述べる。

関連論文リスト

• A Unified Approach to Controlling Implicit Regularization via Mirror Descent [18.536453909759544]
  ミラー降下(MD)は勾配降下(GD)の顕著な一般化である MDを効率的に実装することができ、適切な条件下での高速収束を享受できることを示す。
  論文  参考訳（メタデータ） (2023-06-24T03:57:26Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Sliced gradient-enhanced Kriging for high-dimensional function approximation [2.8228516010000617]
  Gradient-enhanced Kriging (GE-Kriging)は、高価な計算モデルを近似するために確立されたサロゲートモデリング技術である。 固有相関行列のサイズのため、高次元問題に対して実用的でない傾向にある。 SGE-Kriging (Sliced GE-Kriging, SGE-Kriging) と呼ばれる新しい手法を開発し, 相関行列のサイズを小さくする。 その結果,SGE-Krigingモデルでは,標準モデルに匹敵する精度と堅牢性を特徴とするが,トレーニングコストの低減が図られた。
  論文  参考訳（メタデータ） (2022-04-05T07:27:14Z)
• Hidden Convexity of Wasserstein GANs: Interpretable Generative Models with Closed-Form Solutions [31.952858521063277]
  凸双対レンズを用いた2層ニューラルネットワーク判別器によるワッサースタインGANの影響を解析した。 さらに、識別器の異なる活性化機能のパワーを実証する。
  論文  参考訳（メタデータ） (2021-07-12T18:33:49Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Spatial-spectral Hyperspectral Image Classification via Multiple Random Anchor Graphs Ensemble Learning [88.60285937702304]
  本稿では,複数のランダムアンカーグラフアンサンブル学習(RAGE)を用いた空間スペクトルHSI分類手法を提案する。 まず、各選択されたバンドのより記述的な特徴を抽出し、局所的な構造と領域の微妙な変化を保存するローカルバイナリパターンを採用する。 次に,アンカーグラフの構成に適応隣接代入を導入し,計算複雑性を低減した。
  論文  参考訳（メタデータ） (2021-03-25T09:31:41Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Reduced Dilation-Erosion Perceptron for Binary Classification [1.3706331473063877]
  ディレーション・エロージョン・パーセプトロン(Dilation-erosion Perceptron, DEP)は、ディレーションとエロージョンの凸結合によって得られるニューラルネットワークである。 本稿では,r-DEP(reduce Dilation-erosion)分類器を提案する。
  論文  参考訳（メタデータ） (2020-03-04T19:50:35Z)
• Optimization of Graph Total Variation via Active-Set-based Combinatorial Reconditioning [48.42916680063503]
  本稿では,この問題クラスにおける近位アルゴリズムの適応型事前条件付け手法を提案する。 不活性エッジのネスト・フォレスト分解により局所収束速度が保証されることを示す。 この結果から,局所収束解析は近似アルゴリズムにおける可変指標選択の指針となることが示唆された。
  論文  参考訳（メタデータ） (2020-02-27T16:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。