論文の概要: Curvature-Aware Zeroth-Order Optimization for Memory-Efficient Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2608.12279v1
• Date: Wed, 12 Aug 2026 17:17:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.66023
• Title: Curvature-Aware Zeroth-Order Optimization for Memory-Efficient Test-Time Adaptation
• Title（参考訳）: メモリ効率の良いテスト時間適応のための曲率を考慮したゼロ階最適化
• Abstract要約: テスト時間適応(TTA)は、未ラベルのテストデータに適応することにより、事前訓練されたモデルのクロスドメイン性能を向上させることを目的としている。 ZOメソッドはフォワード計算のみに依存しており、デバイス上のデプロイメントの複雑さとメモリオーバーヘッドを大幅に削減することができる。 本稿では,ZO最適化に基づくTTAの性能を大幅に向上させる改良型ZO法を提案する。
• 参考スコア（独自算出の注目度）: 15.216413521560705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time adaptation (TTA) aims to enhance the cross-domain performance of pre-trained models by adapting to unlabeled test data. While most existing TTA methods rely on backpropagation (BP) for finetuning, BP-free methods such as zeroth-order (ZO) methods are more desired in practical on-device scenarios. ZO methods rely only on forward computation, which can largely reduce the complexity and memory overhead of on-device deployment. However, ZO methods suffer from much higher variance compared with first-order methods in estimating the gradient. To address this, we propose an improved ZO method to substantially boost the performance of ZO optimization based TTA. First, we provide an observation to reveal the persistent low-rank Hessian structure of the loss during the adaptation process. Based on this insight, we then propose a loss-landscape curvature-aware zeroth-order (CAZO) method, which leverages a sliding-average estimation of the diagonal Hessian to construct a covariance matrix for anisotropic perturbation sampling. CAZO operates by freezing pretrained weights and optimizing minimal adapter parameters via forward-only passes based gradient estimation, which can substantially reduce the memory overhead compared to BP-based methods. Extensive experiments demonstrate that CAZO significantly outperforms existing TTA methods, achieving state-of-the-art performance while maintaining an excellent balance between accuracy and memory efficiency. Code is available at https://github.com/Hollyming/CAZO.
• Abstract（参考訳）: テスト時間適応(TTA)は、未ラベルのテストデータに適応することにより、事前訓練されたモデルのクロスドメイン性能を向上させることを目的としている。 既存のTTA法の多くは微調整のバックプロパゲーション(BP)に依存しているが、実際のオンデバイスシナリオではゼロオーダー(ZO)法のようなBPフリー法の方が望ましい。 ZOメソッドはフォワード計算のみに依存しており、デバイス上のデプロイメントの複雑さとメモリオーバーヘッドを大幅に削減することができる。 しかし、ZO法は勾配を推定する一階法に比べてはるかに高いばらつきに苦しむ。 そこで本研究では,ZO最適化に基づくTTAの性能を大幅に向上する改良型ZO手法を提案する。 まず,適応過程における損失の持続的低ランクヘッセン構造を明らかにする。 この知見に基づいて, 対角ヘッセンのスライディング平均推定を利用して, 異方性摂動サンプリングのための共分散行列を構築する, ロスランドスケープ曲率対応ゼロ階法 (CAZO) を提案する。 CAZOは、事前学習した重みを凍結し、フォワード専用パスに基づく勾配推定によって最小のアダプタパラメータを最適化することにより、BPベースの手法と比較してメモリオーバーヘッドを大幅に低減することができる。 大規模な実験により、CAZOは既存のTTA法を著しく上回り、精度とメモリ効率のバランスを保ちながら最先端性能を実現していることが示された。 コードはhttps://github.com/Hollyming/CAZO.comで入手できる。

関連論文リスト

• Universally Empowering Zeroth-Order Optimization via Adaptive Layer-wise Sampling [43.822941944402544]
  ゼロ階最適化は、微調整された大規模言語モデルのための有望なメモリ効率のパラダイムを提供する。 しかし,壁面収差の緩やかな収束と高い推定分散により,その実用化は厳しく制約されている。 本稿では,適応層型ZO最適化フレームワークであるAdaLeZOを提案する。
  論文  参考訳（メタデータ） (2026-04-20T13:37:31Z)
• ZOTTA: Test-Time Adaptation with Gradient-Free Zeroth-Order Optimization [29.670784134543027]
  テストタイム適応は、分散シフトの下でモデルの堅牢性を改善することを目的としている。 既存の手法の多くはバックプロパゲーション(BP)に依存しており、計算コストが高く、微分不可能なモデルと互換性がない。 完全BPフリーなTTAフレームワークであるZOTTAを提案する。
  論文  参考訳（メタデータ） (2026-03-15T07:21:01Z)
• FOZO: Forward-Only Zeroth-Order Prompt Optimization for Test-Time Adaptation [9.28697795097814]
  ディープラーニングモデルが現実のデータ分散シフトを処理するために、テスト時間適応は不可欠である。 バックプロパゲーションベースのメソッドは、ローエンドのデプロイメントデバイスには適していない。 本稿では,TTAの新規かつ実用的なバックプロパゲーションフリーパラダイムであるフォワード・オン・ゼロ階最適化(FOZO)を提案する。
  論文  参考訳（メタデータ） (2026-03-05T02:12:48Z)
• Zero-Order Optimization for LLM Fine-Tuning via Learnable Direction Sampling [40.94400211806987]
  摂動方向のサンプリング分布を学習可能なポリシとして扱う政策駆動型ZOフレームワークを提案する。 学習したサンプリングは、品質勾配情報を改善し、$d$の収束境界への明示的な依存を緩和することを示す。 以上の結果から,適応方向サンプリングはZOの微調整を大規模に実現する上で有望な方法であることが示唆された。
  論文  参考訳（メタデータ） (2026-02-14T08:01:41Z)
• Prior-Informed Zeroth-Order Optimization with Adaptive Direction Alignment for Memory-Efficient LLM Fine-Tuning [4.278794376089146]
  本稿では,事前インフォームド摂動を組み込んだプラグアンドプレイ手法を提案する。 本手法は標準ZO法と比較して収束を著しく加速する。 勾配推定器が真の勾配方向とより強く一致することを証明する。
  論文  参考訳（メタデータ） (2026-01-08T08:27:15Z)
• Closing the Approximation Gap of Partial AUC Optimization: A Tale of Two Formulations [121.39938773554523]
  ROC曲線の下の領域(AUC)は、クラス不均衡と決定制約の両方を持つ実世界のシナリオにおける重要な評価指標である。 PAUC最適化の近似ギャップを埋めるために,2つの簡単なインスタンス単位のミニマックス修正を提案する。 得られたアルゴリズムは、サンプルサイズと典型的な一方方向と双方向のPAUCに対して$O(-2/3)$の収束率の線形パーイテレーション計算複雑性を享受する。
  論文  参考訳（メタデータ） (2025-12-01T02:52:33Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
  テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。 1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。 本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。 本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T03:33:39Z)
• Evaluation of Test-Time Adaptation Under Computational Time Constraints [80.40939405129102]
  テスト時間適応(TTA)メソッドは、テスト時にラベルのないデータを活用して、分散シフトに適応する。 現在の評価プロトコルは、この余分なコストの影響を見落とし、実際の適用性に影響を与える。 本稿では,TTA手法のより現実的な評価プロトコルを提案し,一定の速度のデータストリームからデータをオンライン形式で受信する。
  論文  参考訳（メタデータ） (2023-04-10T18:01:47Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Dynamic Scale Training for Object Detection [111.33112051962514]
  本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。 提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。 推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
  論文  参考訳（メタデータ） (2020-04-26T16:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。