論文の概要: Adaptive Probabilistic ODE Solvers Without Adaptive Memory Requirements

• arxiv url: http://arxiv.org/abs/2410.10530v1
• Date: Mon, 14 Oct 2024 14:10:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 21:05:04.657552
• Title: Adaptive Probabilistic ODE Solvers Without Adaptive Memory Requirements
• Title（参考訳）: 適応メモリ要求のない適応確率型ODEソルバ
• Authors: Nicholas Krämer,
• Abstract要約: メモリ要求を固定した適応確率的解法を開発した。 本手法に切り替えることにより,長期連続におけるメモリの問題が解消される。 また、ジャスト・イン・タイムのコンパイルをアンロックすることで、桁違いのシミュレーションを高速化する。
• 参考スコア（独自算出の注目度）: 6.0735728088312175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite substantial progress in recent years, probabilistic solvers with adaptive step sizes can still not solve memory-demanding differential equations -- unless we care only about a single point in time (which is far too restrictive; we want the whole time series). Counterintuitively, the culprit is the adaptivity itself: Its unpredictable memory demands easily exceed our machine's capabilities, making our simulations fail unexpectedly and without warning. Still, dropping adaptivity would abandon years of progress, which can't be the answer. In this work, we solve this conundrum. We develop an adaptive probabilistic solver with fixed memory demands building on recent developments in robust state estimation. Switching to our method (i) eliminates memory issues for long time series, (ii) accelerates simulations by orders of magnitude through unlocking just-in-time compilation, and (iii) makes adaptive probabilistic solvers compatible with scientific computing in JAX.
• Abstract（参考訳）: 近年のかなりの進歩にもかかわらず、適応的なステップサイズを持つ確率的解法は依然としてメモリ要求の微分方程式を解けない。 予測不能なメモリ要求は、我々のマシンの能力より容易に上回るので、我々のシミュレーションは予期せず、警告なしで失敗する。 それでも適応性の低下は、長年の進歩を捨てることになるでしょう。 本研究では,この問題を解く。 我々は、最近のロバストな状態推定技術に基づいて、メモリ要求を固定した適応確率解法を開発した。 私たちの方法に切り替える (i)長期連続のメモリ問題を排除する。 (ii)ジャスト・イン・タイムのコンパイルをアンロックすることで、桁違いのシミュレーションを加速し、 三)JAXにおける科学的計算と適応確率的解法を両立させる。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Computation-Aware Kalman Filtering and Smoothing [27.55456716194024]
  本稿では,高次元ガウス・オヴモデルに対する確率論的数値推論を提案する。 我々のアルゴリズムはGPUアクセラレーションを活用し、予測コストと不確実性の間の調整可能なトレードオフを可能にする。
  論文  参考訳（メタデータ） (2024-05-14T21:31:11Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Memory-and-Anticipation Transformer for Online Action Understanding [52.24561192781971]
  本稿では,過去,現在,未来を含む時間構造全体をモデル化する,メモリ予測に基づく新しいパラダイムを提案する。 本稿では,メモリ・アンド・アンティフィケーション・トランスフォーマ(MAT)を提案する。
  論文  参考訳（メタデータ） (2023-08-15T17:34:54Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• Adaptive Sparse Gaussian Process [0.0]
  これらの問題に対処できる最初の適応スパースガウスプロセス(GP)を提案する。 まず,変分スパースGPアルゴリズムを変形係数によって適応的に再構成する。 そこで我々は,新しいサンプルが到着するたびに,スパースGPモデルの単一誘導点と残りのモデルパラメータを同時に更新することを提案する。
  論文  参考訳（メタデータ） (2023-02-20T21:34:36Z)
• Memory-Efficient Differentiable Programming for Quantum Optimal Control of Discrete Lattices [1.5012666537539614]
  量子最適制御問題は通常、GRAPEのような勾配に基づくアルゴリズムによって解決される。 QOCは、メモリ要件が大きなモデルや長時間のスパンをシミュレートする障壁であることを明らかにした。 我々は、適切な再計算コストでメモリ要求を大幅に削減する、非標準微分可能プログラミングアプローチを採用している。
  論文  参考訳（メタデータ） (2022-10-15T20:59:23Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Reducing Memory Requirements of Quantum Optimal Control [0.0]
  GRAPEのような勾配に基づくアルゴリズムは、ストレージの指数的な増加、量子ビットの増加、メモリ要求の線形増加、時間ステップの増加に悩まされる。 我々は、ユニタリ行列の逆が共役変換であるという事実を利用して、GRAPEが必要とする勾配を計算できる非標準自動微分法を開発した。 提案手法は, GRAPEのメモリ要求を大幅に低減し, 妥当な再計算を犠牲にしている。
  論文  参考訳（メタデータ） (2022-03-23T20:42:54Z)
• Learning Under Delayed Feedback: Implicitly Adapting to Gradient Delays [0.0]
  コンベックス最適化では、複数のマシンが共通のメモリを共有しながら並列に動作している。 本研究では、制約付き設定のための堅牢なトレーニング手法を提案し、更新遅延、客観的な滑らかさ、分散の事前知識に依存しない非収束保証を導出する。
  論文  参考訳（メタデータ） (2021-06-23T09:36:36Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。