論文の概要: GradMetaNet: An Equivariant Architecture for Learning on Gradients

• arxiv url: http://arxiv.org/abs/2507.01649v1
• Date: Wed, 02 Jul 2025 12:22:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:23:00.193662
• Title: GradMetaNet: An Equivariant Architecture for Learning on Gradients
• Title（参考訳）: GradMetaNet: 勾配学習のための同変アーキテクチャ
• Authors: Yoav Gelberg, Yam Eitan, Aviv Navon, Aviv Shamsian, Theo, Putterman, Michael Bronstein, Haggai Maron,
• Abstract要約: 勾配学習のための新しいアーキテクチャであるGradMetaNetを紹介する。 また,GradMetaNet に対して,従来の手法では自然勾配関数を近似できないことを示す。 次に,GradMetaNetの有効性を,勾配に基づくタスクの多種多様なセットで実証する。
• 参考スコア（独自算出の注目度）: 18.350495600116712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradients of neural networks encode valuable information for optimization, editing, and analysis of models. Therefore, practitioners often treat gradients as inputs to task-specific algorithms, e.g. for pruning or optimization. Recent works explore learning algorithms that operate directly on gradients but use architectures that are not specifically designed for gradient processing, limiting their applicability. In this paper, we present a principled approach for designing architectures that process gradients. Our approach is guided by three principles: (1) equivariant design that preserves neuron permutation symmetries, (2) processing sets of gradients across multiple data points to capture curvature information, and (3) efficient gradient representation through rank-1 decomposition. Based on these principles, we introduce GradMetaNet, a novel architecture for learning on gradients, constructed from simple equivariant blocks. We prove universality results for GradMetaNet, and show that previous approaches cannot approximate natural gradient-based functions that GradMetaNet can. We then demonstrate GradMetaNet's effectiveness on a diverse set of gradient-based tasks on MLPs and transformers, such as learned optimization, INR editing, and estimating loss landscape curvature.
• Abstract（参考訳）: ニューラルネットワークのグラディエントは、モデルの最適化、編集、分析のために貴重な情報をエンコードする。 そのため、実践者は、例えばプルーニングや最適化など、タスク固有のアルゴリズムへの入力としてグラデーションを扱うことが多い。 最近の研究は、勾配を直接操作する学習アルゴリズムを探求しているが、勾配処理用に特別に設計されていないアーキテクチャを使用し、適用性を制限している。 本稿では,グラデーションを処理するアーキテクチャを設計するための原則的アプローチを提案する。 本手法は,(1)ニューロン置換対称性を保存する同変設計,(2)曲率情報を取得するために複数のデータ点にまたがる勾配集合の処理,(3)ランク1分解による効率的な勾配表現の3つの原理で導かれる。 これらの原理に基づいて、簡単な等変ブロックから構築された勾配学習のための新しいアーキテクチャであるGradMetaNetを導入する。 我々はGradMetaNetの普遍性を証明し、GradMetaNetが持つ自然勾配関数を近似できないことを示す。 次に、学習最適化、INR編集、損失景観曲率の推定など、MLPやトランスフォーマー上での勾配に基づく様々なタスクに対するGradMetaNetの有効性を示す。

関連論文リスト

• Gradient Networks [11.930694410868435]
  凸勾配を表す包括的なGradNet設計フレームワークを提供する。 GradNetsは神経勾配関数を近似できることを示す。 また,モノトンGradNetsは,パラメータ化の効率化と既存手法の高性能化を図っている。
  論文  参考訳（メタデータ） (2024-04-10T21:36:59Z)
• How to guess a gradient [68.98681202222664]
  我々は、勾配が以前考えられていたよりもより構造化されていることを示す。 この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。 厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
  論文  参考訳（メタデータ） (2023-12-07T21:40:44Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Gradient Correction beyond Gradient Descent [63.33439072360198]
  勾配補正は明らかに、ニューラルネットワークのトレーニングにおいて、最も重要な側面である。 勾配補正を行うためのフレームワーク(textbfGCGD)を導入する。 実験結果から, 勾配補正フレームワークは, トレーニングエポックスを$sim$20%削減し, ネットワーク性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-03-16T01:42:25Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。