論文の概要: Progressive Conditioned Scale-Shift Recalibration of Self-Attention for Online Test-time Adaptation

• arxiv url: http://arxiv.org/abs/2512.12673v1
• Date: Sun, 14 Dec 2025 12:56:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.375287
• Title: Progressive Conditioned Scale-Shift Recalibration of Self-Attention for Online Test-time Adaptation
• Title（参考訳）: オンラインテスト時間適応のための自己注意の段階的条件付きスケールシフト補正
• Authors: Yushun Tang, Ziqiong Liu, Jiyuan Jia, Yi Zhang, Zhihai He,
• Abstract要約: オンラインテストタイム適応は、推論段階における逐次入力サンプルに基づいて、ネットワークモデルをリアルタイムで動的に調整することを目的としている。 条件付きスケールとシフト係数でパラメータ化した局所線形変換を用いて,各層における自己意識を段階的に補正する手法を開発した。
• 参考スコア（独自算出の注目度）: 20.542420731967386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online test-time adaptation aims to dynamically adjust a network model in real-time based on sequential input samples during the inference stage. In this work, we find that, when applying a transformer network model to a new target domain, the Query, Key, and Value features of its self-attention module often change significantly from those in the source domain, leading to substantial performance degradation of the transformer model. To address this important issue, we propose to develop a new approach to progressively recalibrate the self-attention at each layer using a local linear transform parameterized by conditioned scale and shift factors. We consider the online model adaptation from the source domain to the target domain as a progressive domain shift separation process. At each transformer network layer, we learn a Domain Separation Network to extract the domain shift feature, which is used to predict the scale and shift parameters for self-attention recalibration using a Factor Generator Network. These two lightweight networks are adapted online during inference. Experimental results on benchmark datasets demonstrate that the proposed progressive conditioned scale-shift recalibration (PCSR) method is able to significantly improve the online test-time domain adaptation performance by a large margin of up to 3.9\% in classification accuracy on the ImageNet-C dataset.
• Abstract（参考訳）: オンラインテストタイム適応は、推論段階における逐次入力サンプルに基づいて、ネットワークモデルをリアルタイムで動的に調整することを目的としている。 本研究では,トランスフォーマネットワークモデルを新しいターゲットドメインに適用する場合,その自己アテンションモジュールのクエリ,キー,値の特徴がソースドメインのそれと大きく異なり,トランスフォーマモデルの性能が大幅に低下することを発見した。 この重要な問題に対処するために,条件付きスケールとシフトファクタによってパラメータ化された局所線形変換を用いて,各層における自己意識を段階的に補正する新しい手法を提案する。 本稿では,ソースドメインからターゲットドメインへのオンラインモデル適応を,プログレッシブドメインシフト分離プロセスとして検討する。 各変圧器ネットワーク層でドメイン分離ネットワークを学習し、ファクトリジェネレータネットワークを用いて自己注意再校正のためのスケールとシフトパラメータを予測するために使用されるドメインシフト特徴を抽出する。 これら2つの軽量ネットワークは、推論中にオンラインで適応される。 ベンチマークデータセットを用いた実験結果から,提案手法は,ImageNet-Cデータセットの分類精度を最大3.9倍に向上させることで,オンラインテスト時間領域適応性能を大幅に向上できることが示された。

関連論文リスト

• Simulating Distribution Dynamics: Liquid Temporal Feature Evolution for Single-Domain Generalized Object Detection [58.25418970608328]
  Single-Domain Generalized Object Detection (Single-DGOD)は、あるソースドメインで訓練された検出器を複数の未知のドメインに転送することを目的としている。 シングルDGODの既存の方法は通常、データの多様性を拡大するために離散的なデータ拡張や静的摂動法に依存している。 そこで本研究では,ソース領域から潜伏分布のシミュレーションに至るまでの機能の進化をシミュレートする手法を提案する。
  論文  参考訳（メタデータ） (2025-11-13T03:10:39Z)
• GeneralizeFormer: Layer-Adaptive Model Generation across Test-Time Distribution Shifts [58.95913531746308]
  テスト時間領域の一般化の問題は、モデルが複数のソースドメインで訓練され、トレーニング中に見たことのないターゲットドメインで調整される場合である。 textitGeneralizeFormer と呼ばれる軽量メタ学習変換器を用いて,推論中に複数の層パラメータを生成することを提案する。
  論文  参考訳（メタデータ） (2025-02-15T10:10:49Z)
• SelectiveFinetuning: Enhancing Transfer Learning in Sleep Staging through Selective Domain Alignment [3.5833494449195293]
  実用的な睡眠段階分類において、重要な課題は、異なる主題や環境にわたる脳波データの変動である。 脳波の特徴を抽出するために,事前訓練された多分解能畳み込みニューラルネットワーク(MRCNN)を用いる。 選択的なソースデータでモデルを微調整することで、SelectiveFinetuningはターゲットドメインにおけるモデルの性能を向上させる。
  論文  参考訳（メタデータ） (2025-01-07T13:08:54Z)
• Domain-Conditioned Transformer for Fully Test-time Adaptation [18.51468880167399]
  完全なテスト時間適応は、推論段階での入力サンプルのシーケンシャル分析に基づいて、ネットワークモデルをオンラインで適応することを目的としている。 変換器ネットワークモデルを新しい領域に適用すると、対象領域の画像サンプルの自己アテンションプロファイルは、ソース領域のものとは大きく異なる。 本稿では, 変圧器における自己保持モジュールの新しい構造を提案する。具体的には, ドメイン条件ベクトルと呼ばれる3つのドメイン条件ベクトルを, 自己保持モジュールのクエリ, キー, バリューコンポーネントに組み込む。
  論文  参考訳（メタデータ） (2024-10-14T12:36:27Z)
• Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
  セマンティックセグメンテーションのための自己適応型アプローチを提案する。 整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。 実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-08-10T12:29:01Z)
• Variational Transfer Learning using Cross-Domain Latent Modulation [1.9662978733004601]
  本稿では,効率的な転送学習を実現するために,新しいドメイン間遅延変調機構を変分オートエンコーダフレームワークに導入する。 ソース領域とターゲット領域の深部表現は、まず統一推論モデルにより抽出され、勾配逆数を用いて整列される。 学習した深層表現は、一貫性の制約が適用される代替ドメインの潜在エンコーディングにクロスモデレートされる。
  論文  参考訳（メタデータ） (2022-05-31T03:47:08Z)
• Exploring Sequence Feature Alignment for Domain Adaptive Detection Transformers [141.70707071815653]
  本稿では,検出変圧器の適応に特化して設計された新しいシーケンス特徴アライメント(SFA)法を提案する。 SFAはドメインクエリベースの機能アライメント(DQFA)モジュールとトークンワイド機能アライメント(TDA)モジュールで構成される。 3つの挑戦的なベンチマーク実験により、SFAは最先端のドメイン適応オブジェクト検出方法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-07-27T07:17:12Z)
• Transformer-Based Source-Free Domain Adaptation [134.67078085569017]
  本研究では,ソースフリードメイン適応(SFDA)の課題について検討する。 我々は、FDAの一般化モデルを学ぶためのTransformer(TransDA)という、汎用的で効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-28T23:06:26Z)
• Cross-Domain Latent Modulation for Variational Transfer Learning [1.9212368803706577]
  分散オートエンコーダ(VAE)フレームワーク内のクロスドメイン潜時変調機構を提案し,トランスファー学習の改善を実現する。 提案モデルは,教師なし領域適応や画像から画像への変換など,多くのトランスファー学習タスクに適用する。
  論文  参考訳（メタデータ） (2020-12-21T22:45:00Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。