論文の概要: Symmetry-Aware Fully-Amortized Optimization with Scale Equivariant Graph Metanetworks

• arxiv url: http://arxiv.org/abs/2510.08300v1
• Date: Thu, 09 Oct 2025 14:51:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:15.144431
• Title: Symmetry-Aware Fully-Amortized Optimization with Scale Equivariant Graph Metanetworks
• Title（参考訳）: スケール同変グラフメタネットを用いた対称性を考慮した完全補正最適化
• Authors: Bart Kuipers, Freek Byrman, Daniel Uyterlinde, Alejandro García-Castellanos,
• Abstract要約: ここでは,Scale Equivariant Graph Metanetworks (ScaleGMNs) が既存モデルの単一ショット微調整を可能にすることを示す。 畳み込み型ニューラルネットワークでは,マルチ層パーセプトロンよりもゲージ自由度が厳密に小さいことを示す。 我々の研究は、対称性を意識したメタネットワークが、効率的で一般化可能なニューラルネットワーク最適化のための強力なアプローチであることを示す。
• 参考スコア（独自算出の注目度）: 39.69046654861533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Amortized optimization accelerates the solution of related optimization problems by learning mappings that exploit shared structure across problem instances. We explore the use of Scale Equivariant Graph Metanetworks (ScaleGMNs) for this purpose. By operating directly in weight space, ScaleGMNs enable single-shot fine-tuning of existing models, reducing the need for iterative optimization. We demonstrate the effectiveness of this approach empirically and provide a theoretical result: the gauge freedom induced by scaling symmetries is strictly smaller in convolutional neural networks than in multi-layer perceptrons. This insight helps explain the performance differences observed between architectures in both our work and that of Kalogeropoulos et al. (2024). Overall, our findings underscore the potential of symmetry-aware metanetworks as a powerful approach for efficient and generalizable neural network optimization. Open-source code: https://github.com/daniuyter/scalegmn_amortization
• Abstract（参考訳）: Amortized Optimizationは、問題インスタンス間の共有構造を利用するマッピングを学習することで、関連する最適化問題の解決を加速する。 この目的のために、Scale Equivariant Graph Metanetworks(ScaleGMNs)の使用について検討する。 重量空間で直接操作することで、ScaleGMNは既存のモデルの単発微調整を可能にし、反復最適化の必要性を減らすことができる。 対称性のスケーリングによって誘導されるゲージ自由度は、畳み込みニューラルネットワークにおいて、多層パーセプトロンよりも厳密に小さい。 この洞察は、我々の作品とKalogeropoulos et al(2024)のアーキテクチャで観察されたパフォーマンスの違いを説明するのに役立ちます。 全体として、我々は対称性を意識したメタネットワークを、効率的で一般化可能なニューラルネットワーク最適化のための強力なアプローチとしての可能性を強調した。 オープンソースコード:https://github.com/daniuyter/scalegmn_amortization

関連論文リスト

• Regularized second-order optimization of tensor-network Born machines [2.8834278113855896]
  ボルンマシン(英: Born Machine、TNBM)は、データ分布を学習するための量子インスパイアされた生成モデルである。 TNBMの鍵となるボトルネックは、この問題によく使用される損失関数の対数的性質である。 そこで本研究では,TNBMトレーニングにおける2次最適化手法を改良し,収束率と最適化モデルの品質を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-01-30T19:00:04Z)
• Improving Equivariant Model Training via Constraint Relaxation [31.507956579770088]
  そこで本研究では,トレーニング中の厳密な均衡制約を緩和することにより,そのようなモデルの最適化を改善する新しい枠組みを提案する。 本研究では,様々な最先端ネットワークアーキテクチャの実験結果を提供し,このトレーニングフレームワークが一般化性能を向上した同変モデルを実現する方法を示す。
  論文  参考訳（メタデータ） (2024-08-23T17:35:08Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks [23.038631072178735]
  我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。 その結果、ニューラルネットワークの収束挙動を利用することができる。 このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
  論文  参考訳（メタデータ） (2020-10-25T17:10:22Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)
• Efficient and Sparse Neural Networks by Pruning Weights in a Multiobjective Learning Approach [0.0]
  本稿では、予測精度とネットワーク複雑性を2つの個別目的関数として扱うことにより、ニューラルネットワークのトレーニングに関する多目的視点を提案する。 模範的畳み込みニューラルネットワークの予備的な数値結果から、ニューラルネットワークの複雑性の大幅な低減と精度の低下が可能であることが確認された。
  論文  参考訳（メタデータ） (2020-08-31T13:28:03Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。