論文の概要: Factored Levenberg-Marquardt for Diffeomorphic Image Registration: An efficient optimizer for FireANTs

• arxiv url: http://arxiv.org/abs/2603.19371v1
• Date: Thu, 19 Mar 2026 18:04:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:38.831127
• Title: Factored Levenberg-Marquardt for Diffeomorphic Image Registration: An efficient optimizer for FireANTs
• Title（参考訳）: Diffomorphic Image RegistrationのためのFacted Levenberg-Marquardt: 消防士のための効率的なオプティマイザ
• Authors: Rohit Jena, Pratik Chaudhari, James C. Gee,
• Abstract要約: 本稿では,信頼領域アプローチを用いて適応的に調整された1つの減衰パラメータのみを状態として要求する改良型レバンス・マルカルト(LM)を提案する。 その結果、大容量で最大24.6%のメモリが削減され、4つのデータセットでパフォーマンスが維持される。
• 参考スコア（独自算出の注目度）: 20.35907245543535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: FireANTs introduced a novel Eulerian descent method for plug-and-play behavior with arbitrary optimizers adapted for diffeomorphic image registration as a test-time optimization problem, with a GPU-accelerated implementation. FireANTs uses Adam as its default optimizer for fast and more robust optimization. However, Adam requires storing state variables (i.e. momentum and squared-momentum estimates), each of which can consume significant memory, prohibiting its use for significantly large images. In this work, we propose a modified Levenberg-Marquardt (LM) optimizer that requires only a single scalar damping parameter as optimizer state, that is adaptively tuned using a trust region approach. The resulting optimizer reduces memory by up to 24.6% for large volumes, and retaining performance across all four datasets. A single hyperparameter configuration tuned on brain MRI transfers without modification to lung CT and cross-modal abdominal registration, matching or outperforming Adam on three of four benchmarks. We also perform ablations on the effectiveness of using Metropolis-Hastings style rejection step to prevent updates that worsen the loss function.
• Abstract（参考訳）: FireANTsは、GPUアクセラレーションを実装したテスト時間最適化問題として、微分画像登録に適応した任意の最適化器を用いて、プラグアンドプレイ動作のための新しいユーレアン降下法を導入した。 FireANTsはAdamを高速で堅牢な最適化のためのデフォルトのオプティマイザとして使っている。 しかし、アダムは状態変数(運動量と平方運動量の推定値)の保存を必要とし、それぞれが大きなメモリを消費し、大きな画像の使用を禁止している。 本研究では,信頼領域アプローチを用いて適応的に調整された1つのスカラー減衰パラメータのみを最適化状態として要求する改良型レバンス・マルカルト最適化器を提案する。 結果のオプティマイザは、大容量のメモリを最大24.6%削減し、4つのデータセットすべてでパフォーマンスを維持する。 4つのベンチマークのうち3つのベンチマークでAdamをマッチングまたは上回る1つのハイパーパラメーター構成は、肺CTや経口的腹部登録を変更せずに、脳MRIの移動を調整した。 また、損失関数を悪化させる更新を防止するため、メトロポリス・ハスティングス方式の拒絶手順を効果的に活用する。

関連論文リスト

• Low-rank Momentum Factorization for Memory Efficient Training [13.464518325870444]
  Momentum Factorized (MoFaSGD) は、1次運動量の動的に更新された低ランクSVD表現を維持している。 大規模な言語モデルベンチマークにおけるMoFaSGDの有効性を実証し、メモリ削減(例えばLoRA)と性能の競合的なトレードオフを実現する。
  論文  参考訳（メタデータ） (2025-07-10T18:04:52Z)
• A Minimalist Optimizer Design for LLM Pretraining [31.996047271119156]
  大規模言語モデルのトレーニングは通常、Adamのような適応型に依存します。 GaLore FiraやAPOLLOといった最近の研究は、メモリ消費を減らすために、状態圧縮型を提案した。 本研究では,LLMプレトレーニングにおける最先端性能を維持するために本当に必要となる,最小限の状態量について検討する。
  論文  参考訳（メタデータ） (2025-06-20T00:10:35Z)
• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models [33.911521719528686]
  微調整は、大きな言語モデルを下流タスクに適応させるには強力だが、多くの場合、大きなメモリ使用量をもたらす。 有望なアプローチはゼロ階勾配 (ZO) を使うことであり、これは第一階勾配 (FO) を置き換えると見積もられている。 本稿では,レイヤワイドスパース計算とメモリ効率の高いZO,LeZOを提案する。
  論文  参考訳（メタデータ） (2024-10-13T12:47:37Z)
• 3DGS-LM: Faster Gaussian-Splatting Optimization with Levenberg-Marquardt [65.25603275491544]
  3DGS-LM, 3D Gaussian Splatting(3DGS)の再構築を高速化する新しい手法を提案する。 提案手法は, 元の3DGSよりも20%高速であり, 再構成品質の最適化が可能である。
  論文  参考訳（メタデータ） (2024-09-19T16:31:44Z)
• Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning [67.44661423463927]
  本稿では,ZOをパラメータの慎重に選択したサブセットにのみ適用するメモリ効率のゼロ階最適化手法であるSparse MeZOを紹介する。 その結果,Sparse-MeZO はオーバーヘッドを伴わずに,MeZO 上での性能と収束速度を安定的に向上することを示した。
  論文  参考訳（メタデータ） (2024-02-24T07:22:04Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。