論文の概要: ZOTTA: Test-Time Adaptation with Gradient-Free Zeroth-Order Optimization

• arxiv url: http://arxiv.org/abs/2603.14254v1
• Date: Sun, 15 Mar 2026 07:21:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.702687
• Title: ZOTTA: Test-Time Adaptation with Gradient-Free Zeroth-Order Optimization
• Title（参考訳）: ZOTTA: グラディエントフリーゼロ階最適化によるテスト時間適応
• Authors: Ronghao Zhang, Shuaicheng Niu, Qi Deng, Yanjie Dong, Jian Chen, Runhao Zeng,
• Abstract要約: テストタイム適応は、分散シフトの下でモデルの堅牢性を改善することを目的としている。 既存の手法の多くはバックプロパゲーション(BP)に依存しており、計算コストが高く、微分不可能なモデルと互換性がない。 完全BPフリーなTTAフレームワークであるZOTTAを提案する。
• 参考スコア（独自算出の注目度）: 29.670784134543027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time adaptation (TTA) aims to improve model robustness under distribution shifts by adapting to unlabeled test data, but most existing methods rely on backpropagation (BP), which is computationally costly and incompatible with non-differentiable models such as quantized models, limiting practical deployment on numerous edge devices. Recent BP-free approaches alleviate overhead but remain either architecture-specific or limited in optimization capacity to handle high-dimensional models. We propose ZOTTA, a fully BP-free TTA framework that performs efficient adaptation using only forward passes via Zeroth-Order Optimization (ZOO). While ZOO is theoretically appealing, naive application leads to slow convergence under high-dimensional parameter spaces and unstable optimization due to the lack of labels. ZOTTA overcomes these challenges through 1) Distribution-Robust Layer Selection, which automatically identifies and freezes layers that already extract distribution-invariant features, updating only domain-sensitive layers to reduce the optimization dimensionality and accelerate convergence; 2) Spatial Feature Aggregation Alignment, which stabilizes ZOO by aligning globally aggregated spatial features between source and target to reduce gradient variance. Together, these components enable architecture-agnostic and stable BP-free adaptation. Extensive experiments on ImageNet-C/R/Sketch/A show that ZOTTA outperforms or matches BP-based methods, e.g., it reduces memory usage by 84% and improves accuracy by 3.9% over SAR on ImageNet-C.
• Abstract（参考訳）: テスト時間適応(TTA)は、ラベルのないテストデータに適応することで、分散シフト下でのモデルロバスト性を改善することを目的としているが、既存のほとんどの手法は、計算コストが高く、量子化モデルのような非微分不可能なモデルと互換性のないバックプロパゲーション(BP)に依存している。 最近のBPフリーアプローチはオーバーヘッドを軽減するが、高次元モデルを扱うためにアーキテクチャ固有のか最適化能力に制限がある。 完全BPフリーなTTAフレームワークであるZOTTAを提案する。 ZOOは理論上は魅力的であるが、実効的な応用は高次元パラメータ空間下での収束を遅くし、ラベルの欠如により不安定な最適化をもたらす。 ZOTTAはこれらの課題を克服する 1)分散ロバスト層選択(Dis Distribution-Robust Layer Selection)は、既に分布不変の特徴を抽出しているレイヤを自動的に識別し凍結し、最適化の寸法を小さくし、収束を加速するために、ドメイン依存層のみを更新する。 2) 空間的特徴アグリゲーションアライメント(空間的特徴アグリゲーションアライメント)は, ソースとターゲットの間にグローバルに集約された空間的特徴を整列させてZOOを安定化させ, 勾配のばらつきを低減させる。 これらのコンポーネントはアーキテクチャに依存しない安定なBPフリー適応を可能にする。 ImageNet-C/R/Sketch/Aの大規模な実験では、ZOTTAはBPベースの手法よりも優れ、例えば、メモリ使用量を84%削減し、ImageNet-CのSARよりも3.9%精度が向上している。

関連論文リスト

• FOZO: Forward-Only Zeroth-Order Prompt Optimization for Test-Time Adaptation [9.28697795097814]
  ディープラーニングモデルが現実のデータ分散シフトを処理するために、テスト時間適応は不可欠である。 バックプロパゲーションベースのメソッドは、ローエンドのデプロイメントデバイスには適していない。 本稿では,TTAの新規かつ実用的なバックプロパゲーションフリーパラダイムであるフォワード・オン・ゼロ階最適化(FOZO)を提案する。
  論文  参考訳（メタデータ） (2026-03-05T02:12:48Z)
• Parallel Diffusion Solver via Residual Dirichlet Policy Optimization [88.7827307535107]
  拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。 既存のソルバベースの加速度法では、低次元の予算で画像品質が著しく低下することが多い。 本研究では,各ステップに複数の勾配並列評価を組み込んだ新しいODE解法であるEnsemble Parallel Directionsolvr(EPD-EPr)を提案する。
  論文  参考訳（メタデータ） (2025-12-28T05:48:55Z)
• Rethinking Autoregressive Models for Lossless Image Compression via Hierarchical Parallelism and Progressive Adaptation [75.58269386927076]
  自己回帰(AR)モデルは、しばしば計算コストの禁止のために非現実的に除外される。 この研究は、階層的並列性とプログレッシブ適応に基づくフレームワークを導入して、このパラダイムを再考する。 各種データセット(自然,衛星,医療)の実験により,本手法が新たな最先端圧縮を実現することを確認した。
  論文  参考訳（メタデータ） (2025-11-14T06:27:58Z)
• HyperTTA: Test-Time Adaptation for Hyperspectral Image Classification under Distribution Shifts [28.21559601586271]
  HyperTTA (Test-Time Adaptable Transformer for Hyperspectral Degradation) は、様々な劣化条件下でモデルロバスト性を高める統一フレームワークである。 テスト時の適応戦略である、信頼を意識したエントロピー最小化LayerNorm Adapter (CELA)は、LayerNorm層のアフィンパラメータのみを動的に更新する。 2つのベンチマークデータセットの実験では、HyperTTAがさまざまな劣化シナリオで最先端のベースラインを上回っていることが示されている。
  論文  参考訳（メタデータ） (2025-09-10T09:31:37Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• KerZOO: Kernel Function Informed Zeroth-Order Optimization for Accurate and Accelerated LLM Fine-Tuning [15.81250204481401]
  本稿では,勾配推定バイアスの軽減を目的としたカーネル関数ベースのZOフレームワークを提案する。 KerZOOは既存のZOベースラインと同等または優れたパフォーマンスを実現している。 本稿では,カーネル関数がZO法における推定バイアスの低減に有効な方法であることを示す。
  論文  参考訳（メタデータ） (2025-05-24T21:56:03Z)
• APCoTTA: Continual Test-Time Adaptation for Semantic Segmentation of Airborne LiDAR Point Clouds [14.348191795901101]
  空中レーザースキャン(ALS)ポイントクラウドセグメンテーションは、大規模3Dシーン理解の基本的な課題である。 Continuous Test-Time Adaptation (CTTA)は、ソース予測モデルを適用して、未ラベルのターゲットドメインを進化させるソリューションを提供する。 我々は,ALSポイントクラウドセマンティックセグメンテーションに適した最初のCTTA手法であるAPCoTTAを提案する。
  論文  参考訳（メタデータ） (2025-05-15T05:21:16Z)
• Sparse Gradient Compression for Fine-Tuning Large Language Models [58.44973963468691]
  ダウンストリームタスクのための微調整された大型言語モデル(LLM)は、広く利用されていることと、オープンソースモデルの利用が増加しているために、ますます重要になっている。 微調整に伴う高メモリコストは、特にモデルのサイズが大きくなるにつれて大きな課題である。 これらの制約に対処するためにスパース圧縮勾配(SGC)を提案する。
  論文  参考訳（メタデータ） (2025-02-01T04:18:28Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。