Fugu-MT 論文翻訳(概要): Improving Learning to Optimize Using Parameter Symmetries

論文の概要: Improving Learning to Optimize Using Parameter Symmetries

arxiv url: http://arxiv.org/abs/2504.15399v1
Date: Mon, 21 Apr 2025 19:03:23 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-01 01:38:06.28953
Title: Improving Learning to Optimize Using Parameter Symmetries
Title（参考訳）: パラメータ対称性を用いた学習の最適化
Authors: Guy Zamir, Aryan Dokania, Bo Zhao, Rose Yu,
Abstract要約: パラメータ空間対称性を利用して効率を向上させる学習最適化(L2O)アルゴリズムを解析する。この結果から,ニューラルネットワークパラメータ空間対称性を利用してメタ最適化を推し進める可能性が示唆された。
参考スコア（独自算出の注目度）: 16.76912881772023
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We analyze a learning-to-optimize (L2O) algorithm that exploits parameter space symmetry to enhance optimization efficiency. Prior work has shown that jointly learning symmetry transformations and local updates improves meta-optimizer performance. Supporting this, our theoretical analysis demonstrates that even without identifying the optimal group element, the method locally resembles Newton's method. We further provide an example where the algorithm provably learns the correct symmetry transformation during training. To empirically evaluate L2O with teleportation, we introduce a benchmark, analyze its success and failure cases, and show that enhancements like momentum further improve performance. Our results highlight the potential of leveraging neural network parameter space symmetry to advance meta-optimization.
Abstract（参考訳）: パラメータ空間対称性を利用して最適化効率を向上させるL2O(Learning-to-Optimize)アルゴリズムを解析する。先行研究により、共同学習対称性変換と局所更新によりメタ最適化性能が向上することが示されている。これを支持する理論解析により、最適群要素を特定せずにも、この手法はニュートン法と局所的に類似していることが示される。さらに、トレーニング中にアルゴリズムが正しい対称性変換を確実に学習する例を示す。テレポーテーションを用いてL2Oを実験的に評価するために,ベンチマークを導入し,その成功事例と失敗事例を分析し,運動量などの拡張により性能が向上することを示す。この結果から,ニューラルネットワークパラメータ空間対称性を利用してメタ最適化を推し進める可能性が示唆された。

関連論文リスト

Make Optimization Once and for All with Fine-grained Guidance [78.14885351827232]
Learning to Optimize (L2O)は、統合ニューラルネットワークによる最適化効率を向上させる。 L2Oパラダイムは、例えば、リフィット、目に見えない解決策を反復的または直接的に生成するなど、大きな成果を達成する。そこで本研究では,Diff-L2Oと呼ばれる学習最適化のための一般的なフレームワークについて検討した。
論文参考訳（メタデータ） (2025-03-14T14:48:12Z)
A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。非凸アルゴリズムに新しい統一仮定を導入する。
論文参考訳（メタデータ） (2025-02-17T21:25:31Z)
Cross-Entropy Optimization for Hyperparameter Optimization in Stochastic Gradient-based Approaches to Train Deep Neural Networks [2.1046873879077794]
学習アルゴリズムのハイパーパラメータ最適化のためのクロスエントロピー最適化法を提案する。提案手法は,ディープラーニングにおける他の最適化問題にも適用可能である。
論文参考訳（メタデータ） (2024-09-14T00:39:37Z)
Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。モデルパラメータ学習における2つの重要な要素を同定する。グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
論文参考訳（メタデータ） (2024-02-27T15:05:32Z)
End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文参考訳（メタデータ） (2024-02-12T16:33:35Z)
Investigation into the Training Dynamics of Learned Optimizers [0.0]
従来の手作りのアルゴリズムをメタ学習関数に置き換えることで、学習の概念を最適化プロセスを加速させる方法として検討する。本研究は,ネットワークアーキテクチャの対称性と更新パラメータの観点から最適化について検討する。私たちは、それぞれのアプローチが互いの強みからどのように恩恵を受けるかを示すいくつかの重要な洞察を特定します。
論文参考訳（メタデータ） (2023-12-12T11:18:43Z)
Improving Convergence and Generalization Using Parameter Symmetries [34.863101622189944]
異なる曲率を持つミニマへのテレポーティングにより一般化が向上し,最小曲率と一般化能力の関連性が示唆された。本結果は, テレポーテーションの汎用性を示し, 最適化に対称性を組み込むことの可能性を示した。
論文参考訳（メタデータ） (2023-05-22T18:35:42Z)
Transformer-Based Learned Optimization [37.84626515073609]
ニューラルネットワークを用いて計算の更新ステップを表現できる学習最適化手法を提案する。私たちの革新は、古典的なBFGSアルゴリズムにインスパイアされた、新しいニューラルネットワークアーキテクチャです。最適化アルゴリズムの評価に伝統的に用いられてきた目的関数からなるベンチマークにおいて,提案手法の利点を実証する。
論文参考訳（メタデータ） (2022-12-02T09:47:08Z)
Teaching Networks to Solve Optimization Problems [13.803078209630444]
反復解法をトレーニング可能なパラメトリック集合関数に置き換えることを提案する。このようなパラメトリックな(集合)関数を学習することで、様々な古典的最適化問題を解くことができることを示す。
論文参考訳（メタデータ） (2022-02-08T19:13:13Z)
Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文参考訳（メタデータ） (2021-04-30T08:50:24Z)
Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文参考訳（メタデータ） (2020-10-15T18:09:48Z)
Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文参考訳（メタデータ） (2020-10-01T18:14:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。