論文の概要: Iterate to Accelerate: A Unified Framework for Iterative Reasoning and Feedback Convergence

• arxiv url: http://arxiv.org/abs/2502.03787v1
• Date: Thu, 06 Feb 2025 05:24:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:32:05.831737
• Title: Iterate to Accelerate: A Unified Framework for Iterative Reasoning and Feedback Convergence
• Title（参考訳）: Iterate to Accelerate: 反復推論とフィードバック収束のための統一フレームワーク
• Authors: Jacob Fein-Ashley,
• Abstract要約: 本稿では,Bregmanの発散による非ユークリッド幾何学,高次演算子平均化,適応フィードバック機構を利用した反復推論のための統一的フレームワークを提案する。 我々の分析は、軽度な滑らかさと収縮性仮定の下では、ミラー降下や動的プログラミングのような古典的手法を統一するだけでなく、大規模言語モデルにおける現代の連鎖推論過程も捉えることを証明している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We introduce a unified framework for iterative reasoning that leverages non-Euclidean geometry via Bregman divergences, higher-order operator averaging, and adaptive feedback mechanisms. Our analysis establishes that, under mild smoothness and contractivity assumptions, a generalized update scheme not only unifies classical methods such as mirror descent and dynamic programming but also captures modern chain-of-thought reasoning processes in large language models. In particular, we prove that our accelerated iterative update achieves an $O(1/t^2)$ convergence rate in the absence of persistent perturbations, and we further demonstrate that feedback (iterative) architectures are necessary to approximate certain fixed-point functions efficiently. These theoretical insights bridge classical acceleration techniques with contemporary applications in neural computation and optimization.
• Abstract（参考訳）: 本稿では,Bregmanの発散による非ユークリッド幾何学,高次演算子平均化,適応フィードバック機構を利用した反復推論のための統一的フレームワークを提案する。 我々の分析は、軽度な滑らかさと収縮性仮定の下では、ミラー降下や動的プログラミングのような古典的手法を統一するだけでなく、大規模言語モデルにおける現代の連鎖推論過程も捉えることを証明している。 特に, 持続的摂動のない場合, 高速化された反復更新が$O(1/t^2)$収束率を達成できることを証明し, さらに, 一定の不動点関数を効率的に近似するためには, フィードバック(定性)アーキテクチャが必要であることを証明した。 これらの理論的な洞察は、古典的な加速技術と、ニューラル計算と最適化の現代的応用を橋渡しする。

関連論文リスト

• A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
  非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。 非凸アルゴリズムに新しい統一仮定を導入する。
  論文  参考訳（メタデータ） (2025-02-17T21:25:31Z)
• Unraveling Zeroth-Order Optimization through the Lens of Low-Dimensional Structured Perturbations [33.38543010618118]
  Zeroth-order (ZO) 最適化は、勾配ベースのバックプロパゲーション法に代わる有望な代替手段として登場した。 我々は高次元性が主要なボトルネックであることを示し、構造的摂動が勾配雑音を減らし収束を加速する方法を説明するために、テクティットとテクティット有効摂動の概念を導入する。
  論文  参考訳（メタデータ） (2025-01-31T12:46:04Z)
• A physics-informed neural network method for the approximation of slow invariant manifolds for the general class of stiff systems of ODEs [0.0]
  我々は、遅い不変多様体(SIM)の発見のための物理インフォームドニューラルネットワーク(PINN)アプローチを提案する。 削減順序のブラックボックスサロゲートモデルを構成する他の機械学習(ML)アプローチとは対照的に,我々のアプローチはベクトル場を高速かつ低速なコンポーネントに分解する。 提案手法は,QSSA,PEA,CSPが提供する手法よりも,同等あるいは高い精度でSIM近似を提供することを示す。
  論文  参考訳（メタデータ） (2024-03-18T09:10:39Z)
• Multiplicative update rules for accelerating deep learning training and increasing robustness [69.90473612073767]
  我々は、幅広い機械学習アルゴリズムに適合し、代替の更新ルールを適用することができる最適化フレームワークを提案する。 提案するフレームワークはトレーニングを加速する一方、従来の追加更新ルールとは対照的に、より堅牢なモデルにつながります。
  論文  参考訳（メタデータ） (2023-07-14T06:44:43Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Breaking the Convergence Barrier: Optimization via Fixed-Time Convergent Flows [4.817429789586127]
  本稿では, 固定時間安定力学系の概念に基づいて, 加速を実現するための多言語最適化フレームワークを提案する。 提案手法の高速化された収束特性を,最先端の最適化アルゴリズムに対して様々な数値例で検証する。
  論文  参考訳（メタデータ） (2021-12-02T16:04:40Z)
• A theoretical and empirical study of new adaptive algorithms with additional momentum steps and shifted updates for stochastic non-convex optimization [0.0]
  適応最適化アルゴリズムは学習分野の鍵となる柱を表現していると考えられる。 本稿では,異なる非滑らかな目的問題に対する適応運動量法を提案する。
  論文  参考訳（メタデータ） (2021-10-16T09:47:57Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Deep Equilibrium Architectures for Inverse Problems in Imaging [14.945209750917483]
  ディープニューラルネットワークによるイメージングにおける逆問題に対する最近の取り組みは、最適化手法の一定数の反復に触発されたアーキテクチャを使用している。 本稿では,再構成精度を4dB PSNRに向上させた,無限の繰り返しに対応する代替手法について述べる。
  論文  参考訳（メタデータ） (2021-02-16T03:49:58Z)
• Acceleration Methods [57.202881673406324]
  まず2次最適化問題を用いて加速法を2つ導入する。 我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。 我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
  論文  参考訳（メタデータ） (2021-01-23T17:58:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。