論文の概要: Subspace Optimization for Backpropagation-Free Continual Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2603.28678v1
• Date: Mon, 30 Mar 2026 16:58:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.52631
• Title: Subspace Optimization for Backpropagation-Free Continual Test-Time Adaptation
• Title（参考訳）: バックプロパゲーションフリー連続テスト時間適応のための部分空間最適化
• Authors: Damian Sójka, Sebastian Cygert, Marc Masana,
• Abstract要約: PACEはバックプロパゲーションのない連続的なテスト時間適応システムである。 正規化層のアフィンパラメータを直接最適化する。 本フレームワークは,連続的な分散シフトの下で,複数のベンチマークにおいて最先端の精度を実現する。
• 参考スコア（独自算出の注目度）: 8.1094804369744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce PACE, a backpropagation-free continual test-time adaptation system that directly optimizes the affine parameters of normalization layers. Existing derivative-free approaches struggle to balance runtime efficiency with learning capacity, as they either restrict updates to input prompts or require continuous, resource-intensive adaptation regardless of domain stability. To address these limitations, PACE leverages the Covariance Matrix Adaptation Evolution Strategy with the Fastfood projection to optimize high-dimensional affine parameters within a low-dimensional subspace, leading to superior adaptive performance. Furthermore, we enhance the runtime efficiency by incorporating an adaptation stopping criterion and a domain-specialized vector bank to eliminate redundant computation. Our framework achieves state-of-the-art accuracy across multiple benchmarks under continual distribution shifts, reducing runtime by over 50% compared to existing backpropagation-free methods.
• Abstract（参考訳）: 正規化層のアフィンパラメータを直接最適化するバックプロパゲーションフリー連続テスト時間適応システムである PACE を導入する。 既存のデリバティブフリーアプローチは、入力プロンプトの更新を制限するか、ドメインの安定性に関わらず、継続的なリソース集約的な適応を必要とするため、ランタイム効率と学習能力のバランスをとるのに苦労する。 これらの制限に対処するため、PACEはCovariance Matrix Adaptation Evolution StrategyとFastfoodプロジェクションを利用して、低次元部分空間内の高次元アフィンパラメータを最適化し、適応性能を向上する。 さらに、冗長計算をなくすために、適応停止基準とドメイン特化ベクトルバンクを組み込むことにより、実行効率を向上させる。 本フレームワークは,連続的な分散シフトの下で複数のベンチマークに対して最先端の精度を実現し,既存のバックプロパゲーションフリー手法と比較してランタイムを50%以上削減する。

関連論文リスト

• The Golden Subspace: Where Efficiency Meets Generalization in Continual Test-Time Adaptation [86.83038620308423]
  Continual Test-Time Adaptation (CTTA)は、ソースデータにアクセスすることなく、分散シフトの下でラベルなしのデータストリームへのオンライン適応を可能にすることを目的としている。 我々は,GOLD ( Guided Online Low-rank Directional Adaptation) を提案する。これは,Goldenサブスペースに機能を投影する軽量アダプタを用いて,サブスペースがAGOPを介して動的に更新される間に,コンパクトなスケーリングベクトルを学習する。
  論文  参考訳（メタデータ） (2026-03-23T12:48:38Z)
• JAWS: Enhancing Long-term Rollout of Neural Operators via Spatially-Adaptive Jacobian Regularization [0.0]
  Jacobian-Adaptive Weighting for Stability (JAWS)は、これらの制限を軽減するために設計された確率的正規化戦略である。 空間的不確実性を伴う最大Aポストエリオーリ(MAP)推定として演算子学習をフレーミングすることにより、JAWSは局所的な物理的複雑さに基づいて正規化強度を動的に変調する。 実験により、この空間適応型プリコンディショナーが有効スペクトルプレコンディショナーとして機能し、高周波不安定性を扱う際のベースオペレータの負担を軽減することが示されている。
  論文  参考訳（メタデータ） (2026-03-04T06:15:09Z)
• Safeguarded Stochastic Polyak Step Sizes for Non-smooth Optimization: Robust Performance Without Small (Sub)Gradients [16.39606116102731]
  適応型ニューラルネットワークを提供するPolyakの消滅は、勾配降下(SGD)にとって有望な選択であることが証明された。 ディープネットワークに関する総合的な実験は、タイトな凸ネットワーク理論を腐食させる。 本研究では、強い仮定を必要とせず、非滑らかな最適化に対して厳密な収束保証を提供する。
  論文  参考訳（メタデータ） (2025-12-02T02:24:32Z)
• Linear Preference Optimization: Decoupled Gradient Control via Absolute Regularization [13.97375970293678]
  DPO(Direct Preference Optimization)は、その単純さと訓練安定性から、オフライン優先最適化アルゴリズムとして広く使われている。 3つの重要なイノベーションを特徴とする新しいアライメントフレームワークであるLinear Preference Optimization (LPO)を提案する。 まず,対数シグモイド関数を絶対差分損失に置き換え,最適化力学を分離することで勾配デカップリングを導入する。 第2に、選択された応答品質を維持するために、オフセット制約と正の正則化項を組み合わせることで安定性を向上させる。 第3に、直感的な推定を伴う勾配分離と、その相対確率の降下を線形に制御する調整可能な係数を用いて、制御可能な拒絶抑制を実装した。
  論文  参考訳（メタデータ） (2025-08-20T10:17:29Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Continual Model-based Reinforcement Learning for Data Efficient Wireless Network Optimisation [73.04087903322237]
  制御ポリシの継続強化学習としてスループット最適化を定式化する。 シミュレーションの結果,提案システムでは,エンド・ツー・エンドのデプロイメントのリードタイムを2倍に短縮できることがわかった。
  論文  参考訳（メタデータ） (2024-04-30T11:23:31Z)
• Efficient Federated Learning via Local Adaptive Amended Optimizer with Linear Speedup [90.26270347459915]
  そこで我々は,グローバル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アルゴリズムを提案する。 textitLADAは通信ラウンドを大幅に削減し、複数のベースラインよりも高い精度を実現する。
  論文  参考訳（メタデータ） (2023-07-30T14:53:21Z)
• Optimistic Policy Optimization is Provably Efficient in Non-stationary MDPs [113.8752163061151]
  非定常線形カーネルマルコフ決定過程(MDP)におけるエピソード強化学習(RL)の研究 線形最適化アンダーライン最適化アルゴリズム(PROPO)を提案する。 PROPOはスライディングウィンドウベースのポリシー評価と周期的リスタートベースのポリシー改善の2つのメカニズムを特徴としている。
  論文  参考訳（メタデータ） (2021-10-18T02:33:20Z)
• Iterative Amortized Policy Optimization [147.63129234446197]
  政策ネットワークは、継続的制御のための深層強化学習(RL)アルゴリズムの中心的な特徴である。 変分推論の観点からは、ポリシーネットワークは、ポリシー分布を直接ではなく、ネットワークパラメータを最適化する、テキスト化最適化の一形態である。 我々は,反復的アモート化ポリシ最適化により,ベンチマーク連続制御タスクの直接アモート化よりも性能が向上することが実証された。
  論文  参考訳（メタデータ） (2020-10-20T23:25:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。