論文の概要: Learning Gradients of Homogeneous Functions
- arxiv url: http://arxiv.org/abs/2611.01530v1
- Date: Sun, 01 Nov 2026 04:01:02 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:05:08.214496
- Title: Learning Gradients of Homogeneous Functions
- Title(参考訳): 同次関数の学習勾配
- Abstract要約: オイラーの同次函数定理(英語版)は、正に k-同次勾配場に付随するポテンシャルが、場自身から直接取り出すことができるかを示す。
オイラーの定理を用いてGradNet上に構築し、同次関数の勾配に対応することが保証される等質勾配ネットワークアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 15.591533728301599
- License:
- Abstract: Homogeneous gradient functions have widespread significance, including applications in maximum energy subspace selection and retrieval problems. Euler's homogeneous function theorem specifies how the potential associated with a positively k-homogeneous gradient field can be recovered directly from the field itself. We use Euler's theorem to build on GradNets and propose a homogeneous gradient network architecture that is guaranteed to correspond to the gradient of a homogeneous function. Then, we describe how monotone homogeneous GradNets universally approximate the gradients of k-homogeneous convex functions. The inductive bias of homogeneous GradNets enables them to outperform baseline ICNNs by up to 7dB in our max energy subspace projection experiment and by up to 13% higher accuracy, 98% fewer parameters, and 70% fewer FLOPS in our amortized inner product search experiment.
- Abstract(参考訳): 等質勾配関数は、最大エネルギー部分空間選択や検索問題など、幅広い重要性を持つ。
オイラーの同次函数定理(英語版)は、正に k-同次勾配場に付随するポテンシャルが、場自身から直接取り出すことができるかを示す。
オイラーの定理を用いてGradNet上に構築し、同次関数の勾配に対応することが保証される等質勾配ネットワークアーキテクチャを提案する。
次に、単調な均一なGradNetがk-同次凸関数の勾配を普遍的に近似する方法について述べる。
同種GradNetの誘導バイアスにより、最大エネルギーサブスペースプロジェクション実験で最大7dB、最大13%高い精度で、パラメータが98%減少し、内積探索実験でFLOPSが70%減少する。
関連論文リスト
- Natural Riemannian gradient for learning functional tensor networks [0.08999666725996974]
低ランク機能木テンソルネットワーク(TTN)を用いた機械学習タスクを学習モデルとして検討する。
我々のフレームワークは、関数TTNを表現するための因子化と多様体ベースのアプローチの両方に適用できる。
論文 参考訳(メタデータ) (2026-04-10T12:25:20Z) - The Vekua Layer: Exact Physical Priors for Implicit Neural Representations via Generalized Analytic Functions [0.0]
Inlicit Neural Representations (INR)は、物理場をパラメータ化するための強力なパラダイムとして登場した。
一般化分析理論に基づく微分スペクトル法を導入する。
本手法は物理インフォームドスペクトルフィルタとして効果的に機能することを示す。
論文 参考訳(メタデータ) (2025-12-11T21:57:21Z) - Gradient-free stochastic optimization for additive models [50.57026826740147]
本稿では,Polyak-Lojasiewicz あるいは強凸条件を満たす目的関数に対する雑音観測によるゼロ次最適化の問題に対処する。
対象関数は加法的構造を持ち、H"古い関数族によって特徴づけられる高次滑らか性特性を満たすと仮定する。
論文 参考訳(メタデータ) (2025-03-03T23:39:08Z) - Mathematical analysis of the gradients in deep learning [3.3123773366516645]
勾配関数は、コスト汎函数が連続的に微分可能なすべての開集合上のコスト汎函数の標準勾配と一致しなければならないことを示す。
一般化された勾配函数は、コスト汎函数が連続的に微分可能なすべての開集合上のコスト汎函数の標準勾配と一致しなければならない。
論文 参考訳(メタデータ) (2025-01-26T19:11:57Z) - A New Formulation of Lipschitz Constrained With Functional Gradient Learning for GANs [52.55025869932486]
本稿では,大規模データセット上でGAN(Generative Adversarial Networks)のトレーニングを行うための有望な代替手法を提案する。
本稿では,GANの学習を安定させるために,Lipschitz-Constrained Functional Gradient GANs Learning (Li-CFG)法を提案する。
判別器勾配のノルムを増大させることにより、潜在ベクトルの近傍サイズを小さくすることができることを示す。
論文 参考訳(メタデータ) (2025-01-20T02:48:07Z) - Generalizing Stochastic Smoothing for Differentiation and Gradient Estimation [59.86921150579892]
アルゴリズム,演算子,シミュレータ,その他の微分不可能関数の微分可能緩和に対する勾配推定の問題に対処する。
我々は、微分可能なソートとランキングのための分散化戦略、グラフ上の微分可能なショートパス、ポーズ推定のための微分可能なレンダリング、および微分可能なCryo-ETシミュレーションを開発する。
論文 参考訳(メタデータ) (2024-10-10T17:10:00Z) - Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks [4.554284689395686]
暗黙的勾配降下(IGD)は、ある種のマルチスケール問題を扱う場合、共通勾配降下(GD)アルゴリズムより優れている。
IGDは線形収束速度で大域的最適解に収束することを示す。
論文 参考訳(メタデータ) (2024-07-03T06:10:41Z) - On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。
低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
論文 参考訳(メタデータ) (2023-10-30T17:55:28Z) - Gradient is All You Need? [0.0]
本稿では、コンセンサスに基づく勾配最適化(CBO)の解釈による学習アルゴリズムの理論的理解に関する新しい分析的視点を提供する。
本研究は,非局所景観関数の複雑さを軽減するため,CBOの本質的な能力を証明するものである。
論文 参考訳(メタデータ) (2023-06-16T11:30:55Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。