論文の概要: The Method of Infinite Descent

• arxiv url: http://arxiv.org/abs/2510.05489v1
• Date: Tue, 07 Oct 2025 01:09:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.049353
• Title: The Method of Infinite Descent
• Title（参考訳）: 無限の輝きの方法
• Authors: Reza T. Batley, Sourav Saha,
• Abstract要約: この研究は、一階最適条件の直接的な解としてトレーニングを再構成する半分析最適化パラダイムである、無限新生の方法を紹介している。 テイラー展開の解析的再仮定により、この方法は更新ステップの正確な代数方程式を生成する。
• 参考スコア（独自算出の注目度）: 0.9640442628926844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training - the optimisation of complex models - is traditionally performed through small, local, iterative updates [D. E. Rumelhart, G. E. Hinton, R. J. Williams, Nature 323, 533-536 (1986)]. Approximating solutions through truncated gradients is a paradigm dating back to Cauchy [A.-L. Cauchy, Comptes Rendus Math\'ematique 25, 536-538 (1847)] and Newton [I. Newton, The Method of Fluxions and Infinite Series (Henry Woodfall, London, 1736)]. This work introduces the Method of Infinite Descent, a semi-analytic optimisation paradigm that reformulates training as the direct solution to the first-order optimality condition. By analytical resummation of its Taylor expansion, this method yields an exact, algebraic equation for the update step. Realisation of the infinite Taylor tower's cascading resummation is formally derived, and an exploitative algorithm for the direct solve step is proposed. This principle is demonstrated with the herein-introduced AION (Analytic, Infinitely-Optimisable Network) architecture. AION is a model designed expressly to satisfy the algebraic closure required by Infinite Descent. In a simple test problem, AION reaches the optimum in a single descent step. Together, this optimiser-model pair exemplify how analytic structure enables exact, non-iterative convergence. Infinite Descent extends beyond this example, applying to any appropriately closed architecture. This suggests a new class of semi-analytically optimisable models: the \emph{Infinity Class}; sufficient conditions for class membership are discussed. This offers a pathway toward non-iterative learning.
• Abstract（参考訳）: 訓練 - 複雑なモデルの最適化 - は、伝統的に小さな局所的な反復的な更新(D. E. Rumelhart, G. E. Hinton, R. J. Williams, Nature 323, 533-536 (1986))を通して行われる。 切り詰められた勾配による解の近似は、コーシー [A] にさかのぼるパラダイムである。 -L。 Cauchy, Comptes Rendus Math\'ematique 25 536-538 (1847)] and Newton [I. Newton, The Method of Fluxions and Infinite Series (Henry Woodfall, London, 1736)] この研究は、一階最適条件の直接的な解としてトレーニングを再構成する半分析最適化パラダイムである、無限新生の方法を紹介している。 テイラー展開の解析的再仮定により、この方法は更新ステップの正確な代数方程式を生成する。 無限のテイラー塔のカスケーディング再仮定の実現は正式に導出され、直接解法への活用アルゴリズムが提案される。 この原理は、ここで導入されたAION(Analytic, Infinitely-Optimisable Network)アーキテクチャで実証される。 AION は Infinite Descent が必要とする代数的閉包を満たすために設計されたモデルである。 単純なテスト問題では、AIONは1つの降下ステップで最適に達する。 このオプティミザーモデル対は、解析構造が正確な非定性収束を可能にすることを実証する。 Infinite Descentはこの例を超えて、任意の適切に閉じたアーキテクチャに適用する。 これは、半解析的に最適化可能なモデルの新たなクラスである \emph{Infinity Class} を示唆し、クラスメンバーシップに十分な条件について論じる。 これは、非イテレーティブな学習への道筋を提供する。

関連論文リスト

• Non-Euclidean Broximal Point Method: A Blueprint for Geometry-Aware Optimization [55.002497070656624]
  Broximal Point Method(BPM)は、現在の反復を中心にした標準球よりも目的関数を反復的に最小化する、理想的な最適化フレームワークを提供する。 顕著な大域収束保証、線形収束、および正規閉凸函数に対する有限のステップを享受する。 本稿では、BPMの収束理論が、このより一般的な非ユークリッド的な設定に拡張できるかどうかを問う。
  論文  参考訳（メタデータ） (2025-10-01T12:32:52Z)
• Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization [0.5120567378386615]
  アダムやアダグラッドのような一階降下や他の一階変種は、ディープラーニングの分野で一般的に使われている。 しかし、これらの手法は曲率情報を活用しない。 準ニュートン法は、以前計算された低ヘッセン近似を再利用する。
  論文  参考訳（メタデータ） (2025-02-17T20:20:11Z)
• Functional Homotopy: Smoothing Discrete Optimization via Continuous Parameters for LLM Jailbreak Attacks [24.935016443423233]
  本研究では,機能的ホモトピー法と呼ばれる新しい最適化手法を提案する。 一連の簡単な最適化問題を構築することにより、確立されたホモトピー法から導かれる原理を用いて、これらの問題を反復的に解決する。 この手法を大規模言語モデル(LLM)に対するジェイルブレイク攻撃合成に適用し,既存の手法よりも20%～30%の精度向上を実現した。
  論文  参考訳（メタデータ） (2024-10-05T17:22:39Z)
• Online Learning Guided Quasi-Newton Methods with Global Non-Asymptotic Convergence [20.766358513158206]
  双対性ギャップの観点から、大域収束率を$O(min1/k,sqrtd/k1.25)$とする。 これらの結果は、外勾配法よりも準ニュートン法の証明可能な利点を示す最初の大域収束結果である。
  論文  参考訳（メタデータ） (2024-10-03T16:08:16Z)
• Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
  各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。 最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。 本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
  論文  参考訳（メタデータ） (2024-02-04T05:54:51Z)
• Min-Max Optimization Made Simple: Approximating the Proximal Point Method via Contraction Maps [77.8999425439444]
  本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。 我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
  論文  参考訳（メタデータ） (2023-01-10T12:18:47Z)
• Matrix Completion via Non-Convex Relaxation and Adaptive Correlation Learning [90.8576971748142]
  閉形式解によって最適化できる新しいサロゲートを開発する。 そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
  論文  参考訳（メタデータ） (2022-03-04T08:50:50Z)
• DASHA: Distributed Nonconvex Optimization with Communication Compression, Optimal Oracle Complexity, and No Client Synchronization [77.34726150561087]
  我々は,分散最適化問題に対する新しい手法であるDASHAを開発し,解析する。 MARINAとは異なり、新しいDASHAとDASHA-MVRは圧縮ベクターのみを送信し、ノードを同期しないため、学習をより実用的なものにしている。
  論文  参考訳（メタデータ） (2022-02-02T20:10:40Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)
• Last-Iterate Convergence: Zero-Sum Games and Constrained Min-Max Optimization [31.185065331321734]
  広く使われているグラディエント・ディキセント/アセンセント法は凸問題におけるサドル点への最終点収束を示す。 我々は、非回帰乗算重み更新法の変則の下で、エム制約最小値最適化のより一般的な問題において、同じことが成り立つことを示す。
  論文  参考訳（メタデータ） (2018-07-11T17:20:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。