論文の概要: AcTTA: Rethinking Test-Time Adaptation via Dynamic Activation

• arxiv url: http://arxiv.org/abs/2603.26096v1
• Date: Fri, 27 Mar 2026 06:06:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.368614
• Title: AcTTA: Rethinking Test-Time Adaptation via Dynamic Activation
• Title（参考訳）: AcTTA: 動的アクティベーションによるテスト時間適応の再考
• Authors: Hyeongyu Kim, Geonhui Han, Dosik Hwang,
• Abstract要約: テスト時間適応は、推論中のモデルパラメータを更新することにより、分散シフトによる性能劣化を軽減することを目的としている。 本稿では,従来のアクティベーション関数を学習可能な視点から再解釈し,テスト時に適応的に更新するアクティベーション対応フレームワークであるAcTTAを提案する。 本研究は,ドメインシフト・ロバストなテスト時間学習へのコンパクトかつ効果的な経路として,アクティベーション適応を強調した。
• 参考スコア（独自算出の注目度）: 6.119587600205796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time adaptation (TTA) aims to mitigate performance degradation under distribution shifts by updating model parameters during inference. Existing approaches have primarily framed adaptation around affine modulation, focusing on recalibrating normalization layers. This perspective, while effective, overlooks another influential component in representation dynamics: the activation function. We revisit this overlooked space and propose AcTTA, an activation-aware framework that reinterprets conventional activation functions from a learnable perspective and updates them adaptively at test time. AcTTA reformulates conventional activation functions (e.g., ReLU, GELU) into parameterized forms that shift their response threshold and modulate gradient sensitivity, enabling the network to adjust activation behavior under domain shifts. This functional reparameterization enables continuous adjustment of activation behavior without modifying network weights or requiring source data. Despite its simplicity, AcTTA achieves robust and stable adaptation across diverse corruptions. Across CIFAR10-C, CIFAR100-C, and ImageNet-C, AcTTA consistently surpasses normalization-based TTA methods. Our findings highlight activation adaptation as a compact and effective route toward domain-shift-robust test-time learning, broadening the prevailing affine-centric view of adaptation.
• Abstract（参考訳）: テスト時間適応(TTA)は、推論中のモデルパラメータを更新することにより、分散シフトによる性能劣化を軽減することを目的としている。 既存のアプローチでは、アフィン変調を中心に、正規化層の再分類に焦点が当てられている。 この観点は効果的ではあるが、表現力学における別の重要な要素であるアクティベーション関数を見落としている。 我々は、この見過ごされた空間を再検討し、従来のアクティベーション関数を学習可能な視点から再解釈し、テスト時に適応的に更新するアクティベーション対応フレームワークであるAcTTAを提案する。 AcTTAは、従来のアクティベーション関数(例えば、ReLU、GELU)をパラメータ化形式に再構成し、応答閾値をシフトし、勾配感度を変調することで、ドメインシフト下でのアクティベーション動作を調整することができる。 この機能的再パラメータ化は、ネットワーク重みを変更したり、ソースデータを必要とせずに、アクティベーション動作の継続的な調整を可能にする。 その単純さにもかかわらず、AcTTAは様々な汚職にまたがる堅牢で安定した適応を実現している。 CIFAR10-C、CIFAR100-C、ImageNet-C全体では、AcTTAは正規化ベースのTTAメソッドを一貫して上回っている。 本研究は,アクティベーション適応を,ドメインシフト・ロバストなテストタイム学習へのコンパクトかつ効果的な経路として強調し,アフィン中心の適応観を広げた。

関連論文リスト

• Weight Updates as Activation Shifts: A Principled Framework for Steering [54.70188910511715]
  アクティベーションステアリングは極めてパラメータ効率のよい適応形態となるが、その有効性は重要な設計選択に依存する。 我々は,活性化空間介入と重量空間更新の1次等価性を確立し,活性化ステアリングが微調整動作を再現できる条件を導出する。 この等価性は、設計をステアリングするための原則的な枠組みをもたらし、ポストブロック出力を理論的に支持され、非常に表現力のある介入サイトとして特定する。
  論文  参考訳（メタデータ） (2026-02-28T02:50:04Z)
• Regime Change Hypothesis: Foundations for Decoupled Dynamics in Neural Network Training [1.0518862318418603]
  ReLUベースのモデルでは、与えられた入力によって誘導される活性化パターンが、ネットワークが親和的に振る舞う一方向線形領域を決定する。 トレーニングが2段階の行動を示すかを検討する。アクティベーションパターンが大幅に変化した初期段階と、重み更新が主にモデルを洗練させる後期である。
  論文  参考訳（メタデータ） (2026-02-09T07:14:28Z)
• Virtual Parameter Sharpening: Dynamic Low-Rank Perturbations for Inference-Time Reasoning Enhancement [0.0]
  動的でアクティベーション条件の低い低ランク摂動で冷凍変圧器の線形層を拡大する仮想シャープニング(VPS)について紹介する。 本稿では, 完全アルゴリズムの枠組みを提示し, その数学的基礎を解析し, アクティベーション条件付き計算が大規模言語モデルにおける推論能力を向上するメカニズムについて議論する。
  論文  参考訳（メタデータ） (2025-12-02T16:54:22Z)
• GateRA: Token-Aware Modulation for Parameter-Efficient Fine-Tuning [51.79350934271497]
  GateRAは、PEFT更新の強度を動的に調整するトークン対応変調を導入する統一フレームワークである。 適応ゲーティングを標準のPEFTブランチに組み込むことで、Gateraは選択的でトークンレベルの適応を可能にする。 複数のコモンセンス推論ベンチマークの実験により、GateRAはPEFT法よりも一貫して優れ、一致していることが示された。
  論文  参考訳（メタデータ） (2025-11-15T17:55:47Z)
• Orthogonal Projection Subspace to Aggregate Online Prior-knowledge for Continual Test-time Adaptation [67.80294336559574]
  連続テスト時間適応(CTTA)は、新しいシナリオに継続的に適応するために、ソース事前訓練されたモデルを必要とするタスクである。 我々は、OoPkと呼ばれるオンライン事前知識を集約する新しいパイプラインOrthogonal Projection Subspaceを提案する。
  論文  参考訳（メタデータ） (2025-06-23T18:17:39Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• Efficient Test-time Adaptive Object Detection via Sensitivity-Guided Pruning [73.40364018029673]
  連続的なテスト時間適応オブジェクト検出(CTTA-OD)は、源となる事前訓練された検出器を常に変化する環境にオンライン適応させることを目的としている。 私たちのモチベーションは、学習したすべての特徴が有益であるとは限らないという観察に起因しています。 FLOPの計算オーバヘッドを12%削減し,優れた適応性を実現する。
  論文  参考訳（メタデータ） (2025-06-03T05:27:56Z)
• ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
  離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。 このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
  論文  参考訳（メタデータ） (2023-07-02T21:46:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。