論文の概要: Open-World Test-Time Adaptation with Hierarchical Feature Aggregation and Attention Affine
- arxiv url: http://arxiv.org/abs/2511.12607v1
- Date: Sun, 16 Nov 2025 14:05:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-18 14:36:24.407136
- Title: Open-World Test-Time Adaptation with Hierarchical Feature Aggregation and Attention Affine
- Title(参考訳): 階層的特徴集約とアテンションアフィンを用いたオープンワールドテスト時間適応
- Authors: Ziqiong Liu, Yushun Tang, Junyang Ji, Zhihai He,
- Abstract要約: テスト時間適応(TTA)とは、サンプル分布の変化に対処するため、テストフェーズ中にモデルを調整することを指す。
本稿では,すべてのトランスフォーマー層に集約されたクラストークンからOOD特徴を抽出する階層ラダーネットワークを提案する。
また、トークン情報に基づく自己認識機構を適応的に洗練し、ドメインのドリフトに適応するアテンションアフィンネットワーク(AAN)を導入する。
- 参考スコア(独自算出の注目度): 17.151364853811128
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Test-time adaptation (TTA) refers to adjusting the model during the testing phase to cope with changes in sample distribution and enhance the model's adaptability to new environments. In real-world scenarios, models often encounter samples from unseen (out-of-distribution, OOD) categories. Misclassifying these as known (in-distribution, ID) classes not only degrades predictive accuracy but can also impair the adaptation process, leading to further errors on subsequent ID samples. Many existing TTA methods suffer substantial performance drops under such conditions. To address this challenge, we propose a Hierarchical Ladder Network that extracts OOD features from class tokens aggregated across all Transformer layers. OOD detection performance is enhanced by combining the original model prediction with the output of the Hierarchical Ladder Network (HLN) via weighted probability fusion. To improve robustness under domain shift, we further introduce an Attention Affine Network (AAN) that adaptively refines the self-attention mechanism conditioned on the token information to better adapt to domain drift, thereby improving the classification performance of the model on datasets with domain shift. Additionally, a weighted entropy mechanism is employed to dynamically suppress the influence of low-confidence samples during adaptation. Experimental results on benchmark datasets show that our method significantly improves the performance on the most widely used classification datasets.
- Abstract(参考訳): テスト時間適応(TTA)は、サンプル分布の変化に対処し、新しい環境へのモデルの適応性を高めるために、テストフェーズ中にモデルを調整することを指す。
現実のシナリオでは、モデルは目に見えない(アウト・オブ・ディストリビューション、OOD)カテゴリのサンプルに遭遇することが多い。
既知の(配布中、ID)クラスを誤分類することは予測精度を低下させるだけでなく、適応過程を損なう可能性もあり、その後のIDサンプルのさらなるエラーにつながる。
既存のTTA手法の多くは、そのような条件下ではかなりの性能低下を被っている。
この課題に対処するために,すべてのTransformer層にまたがるクラストークンからOOD機能を抽出する階層型ラダーネットワークを提案する。
OOD検出性能は、元のモデル予測と、重み付き確率融合による階層ラダーネットワーク(HLN)の出力を組み合わせることで向上する。
ドメインシフト下でのロバスト性を改善するために,トークン情報に条件付けられた自己認識機構を適応的に洗練し,ドメインドリフトに適応し,ドメインシフトを伴うデータセット上でのモデルの分類性能を向上させるアテンションアフィンネットワーク(AAN)を導入する。
また, 適応時の低信頼試料の影響を動的に抑制するために, 重み付きエントロピー機構を用いる。
ベンチマークデータセットを用いた実験結果から,本手法は最も広く使用されている分類データセットの性能を著しく向上させることが示された。
関連論文リスト
- HyperTTA: Test-Time Adaptation for Hyperspectral Image Classification under Distribution Shifts [28.21559601586271]
HyperTTA (Test-Time Adaptable Transformer for Hyperspectral Degradation) は、様々な劣化条件下でモデルロバスト性を高める統一フレームワークである。
テスト時の適応戦略である、信頼を意識したエントロピー最小化LayerNorm Adapter (CELA)は、LayerNorm層のアフィンパラメータのみを動的に更新する。
2つのベンチマークデータセットの実験では、HyperTTAがさまざまな劣化シナリオで最先端のベースラインを上回っていることが示されている。
論文 参考訳(メタデータ) (2025-09-10T09:31:37Z) - Knowledge Regularized Negative Feature Tuning of Vision-Language Models for Out-of-Distribution Detection [54.433899174017185]
信頼性の高い機械学習モデルを構築するには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
我々はKR-NFT(Knowledge Regularized Negative Feature Tuning)と呼ばれる新しい手法を提案する。
NFTは、事前訓練されたテキスト特徴に分布認識変換を適用し、正および負の特徴を異なる空間に効果的に分離する。
ImageNetデータセットから数発のサンプルをトレーニングすると、KR-NFTはID分類精度とOOD検出を改善するだけでなく、FPR95を5.44%削減する。
論文 参考訳(メタデータ) (2025-07-26T07:44:04Z) - DynaSubVAE: Adaptive Subgrouping for Scalable and Robust OOD Detection [14.940518154050931]
表現学習と適応OOD検出を共同で行う動的サブグループ変分自動符号化フレームワークであるDynaSubVAEを紹介する。
従来のアプローチとは異なり、DynaSubVAEはその潜在構造を動的に更新して新しいトレンドを捉え、データとともに進化する。
論文 参考訳(メタデータ) (2025-06-11T21:33:52Z) - Reliably Detecting Model Failures in Deployment Without Labels [14.069153343960734]
本稿では,デプロイ後劣化(PDD)モニタリングの問題点を定式化し,対処する。
本稿では,予測モデルの相違に基づく,実用的で効率的なモニタリングアルゴリズムD3Mを提案する。
標準ベンチマークと実世界の大規模内科データセットによる実証的な結果から,フレームワークの有効性が示された。
論文 参考訳(メタデータ) (2025-06-05T13:56:18Z) - PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。
本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
論文 参考訳(メタデータ) (2024-09-24T07:57:21Z) - AR-TTA: A Simple Method for Real-World Continual Test-Time Adaptation [1.4530711901349282]
本稿では,自律運転のためのデータセット,すなわちCLAD-CとShiFTを用いたテスト時間適応手法の検証を提案する。
現在のテスト時間適応手法は、ドメインシフトの様々な程度を効果的に扱うのに苦労している。
モデル安定性を高めるために、小さなメモリバッファを組み込むことで、確立された自己学習フレームワークを強化する。
論文 参考訳(メタデータ) (2023-09-18T19:34:23Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-03T07:45:53Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。