論文の概要: Understanding the Curse of Unrolling

• arxiv url: http://arxiv.org/abs/2602.19733v1
• Date: Mon, 23 Feb 2026 11:32:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.788248
• Title: Understanding the Curse of Unrolling
• Title（参考訳）: アンローリングのカースを理解する
• Authors: Sheheryar Mehmood, Florian Knoll, Peter Ochs,
• Abstract要約: 転倒の呪いの起源を説明する非漸近的分析を提供する。 導関数計算の初期イテレーションをトラッピングすることで、メモリ要求を同時に減らしながら呪いを軽減できることが示される。 本研究は, 代表例に関する数値実験により実証された。
• 参考スコア（独自算出の注目度）: 2.2452525313322966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Algorithm unrolling is ubiquitous in machine learning, particularly in hyperparameter optimization and meta-learning, where Jacobians of solution mappings are computed by differentiating through iterative algorithms. Although unrolling is known to yield asymptotically correct Jacobians under suitable conditions, recent work has shown that the derivative iterates may initially diverge from the true Jacobian, a phenomenon known as the curse of unrolling. In this work, we provide a non-asymptotic analysis that explains the origin of this behavior and identifies the algorithmic factors that govern it. We show that truncating early iterations of the derivative computation mitigates the curse while simultaneously reducing memory requirements. Finally, we demonstrate that warm-starting in bilevel optimization naturally induces an implicit form of truncation, providing a practical remedy. Our theoretical findings are supported by numerical experiments on representative examples.
• Abstract（参考訳）: アルゴリズムのアンローリングは機械学習、特にハイパーパラメータ最適化とメタラーニングにおいてユビキタスであり、ソリューションマッピングのヤコビアンは反復アルゴリズムによる微分によって計算される。 アンローリングは、適切な条件下で漸近的に正しいヤコビアンをもたらすことが知られているが、最近の研究は、微分イテレートが、アンローリングの呪いとして知られる真のヤコビアンから分岐する可能性があることを示した。 本研究では、この行動の起源を説明し、それを管理するアルゴリズム的要因を同定する非漸近解析を提供する。 導関数計算の初期イテレーションをトラッピングすることで、メモリ要求を同時に減らしながら呪いを軽減できることが示される。 最後に、二段階最適化におけるウォームスタートが暗黙のトランケーションを自然に引き起こし、実践的な改善をもたらすことを実証する。 本研究は,代表例に関する数値実験によって裏付けるものである。

関連論文リスト

• Bregman-divergence-based Arimoto-Blahut algorithm [53.64687146666141]
  本稿では,Arimoto-BlahutアルゴリズムをBregman-Diversergenceシステム上で定義された一般関数に一般化する。 このアルゴリズムは古典的および量子速度歪み理論に適用できる。
  論文  参考訳（メタデータ） (2024-08-10T06:16:24Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• One-step differentiation of iterative algorithms [7.9495796547433395]
  本稿では, 自動微分法としての一段階微分法, あるいはジャコビアンフリーバックプロパゲーションについて検討する。 両レベル最適化の結果とともに, 具体例を用いた完全理論的近似解析を行う。
  論文  参考訳（メタデータ） (2023-05-23T07:32:37Z)
• The Curse of Unrolling: Rate of Differentiating Through Optimization [35.327233435055305]
  未分化は反復解法を用いて解を近似し、計算経路を通して解を微分する。 我々は,(1)高速収束につながる大きな学習率を選択することができるが,アルゴリズムが任意に長いバーンインフェーズを持つことを受け入れるか,あるいは(2)即時収束につながるより少ない学習率を選択するかのどちらかを示す。
  論文  参考訳（メタデータ） (2022-09-27T09:27:29Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Learning to solve TV regularized problems with unrolled algorithms [18.241062505073234]
  トータル・バージョニング(Total Variation、TV)は、一方向定値信号を促進する一般的な正規化戦略である。 そこで我々は,2つのアプローチを開発し,そのメリットと限界を記述し,反復的な手順よりも実際に改善できる体制について議論する。
  論文  参考訳（メタデータ） (2020-10-19T14:19:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。