論文の概要: FOZO: Forward-Only Zeroth-Order Prompt Optimization for Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2603.04733v1
• Date: Thu, 05 Mar 2026 02:12:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-06 22:06:11.0312
• Title: FOZO: Forward-Only Zeroth-Order Prompt Optimization for Test-Time Adaptation
• Title（参考訳）: FOZO:テスト時間適応のための前方全順序プロンプト最適化
• Authors: Xingyu Wang, Tao Wang,
• Abstract要約: ディープラーニングモデルが現実のデータ分散シフトを処理するために、テスト時間適応は不可欠である。 バックプロパゲーションベースのメソッドは、ローエンドのデプロイメントデバイスには適していない。 本稿では,TTAの新規かつ実用的なバックプロパゲーションフリーパラダイムであるフォワード・オン・ゼロ階最適化(FOZO)を提案する。
• 参考スコア（独自算出の注目度）: 9.28697795097814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-Time Adaptation (TTA) is essential for enabling deep learning models to handle real-world data distribution shifts. However, current approaches face significant limitations: backpropagation-based methods are not suitable for low-end deployment devices, due to their high computation and memory requirements, as well as their tendency to modify model weights during adaptation; while traditional backpropagation-free techniques exhibit constrained adaptation capabilities. In this work, we propose Forward-Only Zeroth-Order Optimization (FOZO), a novel and practical backpropagation-free paradigm for TTA. FOZO leverages a memory-efficient zeroth-order prompt optimization, which is led by objectives optimizing both intermediate feature statistics and prediction entropy. To ensure efficient and stable adaptation over the out-of-distribution data stream, we introduce a dynamically decaying perturbation scale during zeroth-order gradient estimation and theoretically prove its convergence under the TTA data stream assumption. Extensive continual adaptation experiments on ImageNet-C, ImageNet-R, and ImageNet-Sketch demonstrate FOZO's superior performance, achieving 59.52% Top-1 accuracy on ImageNet-C (5K, level 5) and outperforming main gradient-based methods and SOTA forward-only FOA (58.13%). Furthermore, FOZO exhibits strong generalization on quantized (INT8) models. These findings demonstrate that FOZO is a highly competitive solution for TTA deployment in resource-limited scenarios.
• Abstract（参考訳）: TTA(Test-Time Adaptation)は、ディープラーニングモデルが現実のデータ分散シフトを処理できるようにするために不可欠である。 バックプロパゲーションベースの手法は、高い計算量とメモリ要求、適応中にモデルの重みを変更する傾向があるため、ローエンドのデプロイメントデバイスには適さないが、従来のバックプロパゲーションフリー手法は制約付き適応能力を示す。 本稿では,TTAの新しいバックプロパゲーションフリーパラダイムであるフォワードオンリーゼロ階最適化(FOZO)を提案する。 FOZOは、中間的特徴統計量と予測エントロピーの両方を最適化する目的によって導かれる、メモリ効率のゼロ階プロンプト最適化を利用する。 分布外データストリームに対する効率よく安定した適応を確保するため、ゼロ階勾配推定時に動的に減衰する摂動スケールを導入し、理論的にはTTAデータストリーム仮定の下でその収束を証明した。 ImageNet-C、ImageNet-R、ImageNet-Sketchの大規模な継続的適応実験は、FOZOの優れた性能を示し、ImageNet-C (5K、レベル5) で59.52%のTop-1精度を達成し、主要な勾配ベースの手法とSOTAフォワードのみのFOA (58.13%) を上回った。 さらに、FOZOは量子化(INT8)モデルに強い一般化を示す。 これらの結果から,FOZOはリソース制限シナリオにおけるTTAデプロイメントの競争力の高いソリューションであることが示された。

関連論文リスト

• Energy-based Preference Optimization for Test-time Adaptation [4.379304291229695]
  テスト時間適応(TTA)アプローチは条件分布の調整に重点を置いている。 これらの手法はラベル情報の欠如による不確実な予測に依存することが多く、信頼性の低い性能をもたらす。 エネルギーベースのフレームワークは、不確実な予測に頼ることなく、ターゲットデータの限界分布を計算し、分散シフトに対処する、有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:21:32Z)
• DFF: Decision-Focused Fine-tuning for Smarter Predict-then-Optimize with Limited Data [7.70699448711673]
  意思決定中心学習(DFL)は、予測モデルを直接判断損失(DL)に基づいて訓練することにより、予測テーマ最適化(PO)フレームワークへのエンドツーエンドアプローチを提供する。 いくつかの予測モデルは微分不可能またはブラックボックスであり、勾配法では調整できない。 本稿では,DFLモジュールを新しいバイアス補正モジュールを介してPOパイプラインに埋め込む,DFF(Decision-Focused Fine-tuning)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:46:25Z)
• COME: Test-time adaption by Conservatively Minimizing Entropy [45.689829178140634]
  保守的に最小化されるエントロピー (COME) は従来のエントロピー (EM) の代替品である COMEはモデル予測よりもディリクレ事前分布を特徴付けることによって、不確実性を明示的にモデル化する。 我々はCOMEが一般的なベンチマークで最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-12T09:20:06Z)
• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• REALM: Robust Entropy Adaptive Loss Minimization for Improved Single-Sample Test-Time Adaptation [5.749155230209001]
  フルテスト時間適応(F-TTA)は、列車とテストデータの分散シフトによる性能損失を軽減することができる。 本稿では,F-TTAの雑音に対する堅牢性向上のための一般的な枠組みについて述べる。
  論文  参考訳（メタデータ） (2023-09-07T18:44:58Z)
• Tent: Fully Test-time Adaptation by Entropy Minimization [77.85911673550851]
  モデルは、テスト中に新しいデータや異なるデータに一般化するように適応する必要があります。 この完全なテスト時間適応の設定では、モデルはテストデータとそれ自身のパラメータしか持たない。 実験エントロピー最小化(tent): 予測のエントロピーによって測定された信頼度に対するモデルを最適化する。
  論文  参考訳（メタデータ） (2020-06-18T17:55:28Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。