論文の概要: Learning to Evolve with Convergence Guarantee via Neural Unrolling

• arxiv url: http://arxiv.org/abs/2512.11453v1
• Date: Fri, 12 Dec 2025 10:46:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 15:48:11.734168
• Title: Learning to Evolve with Convergence Guarantee via Neural Unrolling
• Title（参考訳）: ニューラルアンローリングによる収束保証による進化の学習
• Authors: Jiaxin Gao, Yaohua Liu, Ran Cheng, Kay Chen Tan,
• Abstract要約: 両レベルのメタ最適化フレームワークであるL2E(Learning to Evolve)を導入する。 L2Eは、KM(Krasnosel'skii-Mann)固定点理論に基づくニューラルアンローリング過程として進化探索を再構成する。 実験では、高次元空間におけるL2Eのスケーラビリティと、合成および実世界の制御タスクにまたがる堅牢なゼロショット一般化が示される。
• 参考スコア（独自算出の注目度）: 37.99564850768798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The transition from hand-crafted heuristics to data-driven evolutionary algorithms faces a fundamental dilemma: achieving neural plasticity without sacrificing mathematical stability. Emerging learned optimizers demonstrate high adaptability. However, they often lack rigorous convergence guarantees. This deficiency results in unpredictable behaviors on unseen landscapes. To address this challenge, we introduce Learning to Evolve (L2E), a unified bilevel meta-optimization framework. This method reformulates evolutionary search as a Neural Unrolling process grounded in Krasnosel'skii-Mann (KM) fixed-point theory. First, L2E models a coupled dynamic system in which the inner loop enforces a strict contractive trajectory via a structured Mamba-based neural operator. Second, the outer loop optimizes meta-parameters to align the fixed point of the operator with the target objective minimizers. Third, we design a gradient-derived composite solver that adaptively fuses learned evolutionary proposals with proxy gradient steps, thereby harmonizing global exploration with local refinement. Crucially, this formulation provides the learned optimizer with provable convergence guarantees. Extensive experiments demonstrate the scalability of L2E in high-dimensional spaces and its robust zero-shot generalization across synthetic and real-world control tasks. These results confirm that the framework learns a generic optimization manifold that extends beyond specific training distributions.
• Abstract（参考訳）: 手作りのヒューリスティックからデータ駆動進化アルゴリズムへの移行は、基本的なジレンマに直面している。 新たな学習オプティマイザは高い適応性を示している。 しかし、厳密な収束保証を欠いていることが多い。 この欠陥は、目に見えない風景に予測不可能な振る舞いをもたらす。 この課題に対処するために,両レベルのメタ最適化フレームワークであるL2E(Learning to Evolve)を導入する。 この方法は、KM(Krasnosel'skii-Mann)固定点理論に基づくニューラルアンローリング過程として進化探索を再構成する。 まず、L2Eは結合力学系をモデル化し、内部ループは構造的マンバ系ニューラル演算子を介して厳密な収縮軌道を強制する。 第2に、外部ループは、演算子の固定点と目標目標目標最小値とを整列するように、メタパラメータを最適化する。 第3に、我々は、学習した進化的提案をプロキシ勾配ステップで適応的に融合させ、局所的な洗練とグローバルな探索を調和させる勾配由来複合解法を設計する。 重要なことに、この定式化は学習した最適化者に証明可能な収束保証を与える。 大規模な実験は、高次元空間におけるL2Eのスケーラビリティと、合成および実世界の制御タスクにおける堅牢なゼロショット一般化を実証する。 これらの結果は、フレームワークが特定のトレーニング分布を超えて拡張される汎用的な最適化多様体を学習していることを確認する。

関連論文リスト

• Towards a Unified Analysis of Neural Networks in Nonparametric Instrumental Variable Regression: Optimization and Generalization [66.08522228989634]
  非パラメトリックインスツルメンタル変数回帰(NPIV)における2段階最小二乗法(2SLS)アプローチのためのニューラルネットワークの最初の大域収束結果を確立する。 これは平均場ランゲヴィンダイナミクス(MFLD)を通して持ち上げられた視点を採用することで達成される。
  論文  参考訳（メタデータ） (2025-11-18T17:51:17Z)
• Learnable SMPLify: A Neural Solution for Optimization-Free Human Pose Inverse Kinematics [13.621560002904873]
  Learnable SMPLifyは、SMPLifyの反復フィッティングプロセスをシングルパス回帰モデルに置き換えるニューラルネットワークフレームワークである。 SMPLifyに比べて200倍近く高速なランタイムを実現し、3DPWやRICHによく対応し、LucidActionのプラグインツールとして使用する場合、モデルに依存しない方法として動作する。
  論文  参考訳（メタデータ） (2025-08-19T06:53:57Z)
• On the Convergence of Adam-Type Algorithm for Bilevel Optimization under Unbounded Smoothness [15.656614304616006]
  本稿では,単ループのAdam-type法であるAdamBOについて紹介する。 バイレベルを含む各種機械学習タスクについて実験を行った。 リカレントニューラルネットワーク(RNN)とトランスフォーマーによる定式化。
  論文  参考訳（メタデータ） (2025-03-05T21:16:59Z)
• Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
  分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。 学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。 また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
  論文  参考訳（メタデータ） (2025-02-14T03:26:57Z)
• Learning Provably Improves the Convergence of Gradient Descent [6.777975824808536]
  最適化のために(L2O)ディープネットワークベースのソルバを最適化するために二次性を学ぶ。 我々は L2O が自身の収束フレームワークの理論的裏付けを欠いていることを示す。 理論的結果を支援するための決定論的戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-30T02:03:30Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。