論文の概要: Open-World Test-Time Adaptation with Hierarchical Feature Aggregation and Attention Affine
- arxiv url: http://arxiv.org/abs/2511.12607v1
- Date: Sun, 16 Nov 2025 14:05:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-18 14:36:24.407136
- Title: Open-World Test-Time Adaptation with Hierarchical Feature Aggregation and Attention Affine
- Title(参考訳): 階層的特徴集約とアテンションアフィンを用いたオープンワールドテスト時間適応
- Authors: Ziqiong Liu, Yushun Tang, Junyang Ji, Zhihai He,
- Abstract要約: テスト時間適応(TTA)とは、サンプル分布の変化に対処するため、テストフェーズ中にモデルを調整することを指す。
本稿では,すべてのトランスフォーマー層に集約されたクラストークンからOOD特徴を抽出する階層ラダーネットワークを提案する。
また、トークン情報に基づく自己認識機構を適応的に洗練し、ドメインのドリフトに適応するアテンションアフィンネットワーク(AAN)を導入する。
- 参考スコア(独自算出の注目度): 17.151364853811128
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Test-time adaptation (TTA) refers to adjusting the model during the testing phase to cope with changes in sample distribution and enhance the model's adaptability to new environments. In real-world scenarios, models often encounter samples from unseen (out-of-distribution, OOD) categories. Misclassifying these as known (in-distribution, ID) classes not only degrades predictive accuracy but can also impair the adaptation process, leading to further errors on subsequent ID samples. Many existing TTA methods suffer substantial performance drops under such conditions. To address this challenge, we propose a Hierarchical Ladder Network that extracts OOD features from class tokens aggregated across all Transformer layers. OOD detection performance is enhanced by combining the original model prediction with the output of the Hierarchical Ladder Network (HLN) via weighted probability fusion. To improve robustness under domain shift, we further introduce an Attention Affine Network (AAN) that adaptively refines the self-attention mechanism conditioned on the token information to better adapt to domain drift, thereby improving the classification performance of the model on datasets with domain shift. Additionally, a weighted entropy mechanism is employed to dynamically suppress the influence of low-confidence samples during adaptation. Experimental results on benchmark datasets show that our method significantly improves the performance on the most widely used classification datasets.
- Abstract(参考訳): テスト時間適応(TTA)は、サンプル分布の変化に対処し、新しい環境へのモデルの適応性を高めるために、テストフェーズ中にモデルを調整することを指す。
現実のシナリオでは、モデルは目に見えない(アウト・オブ・ディストリビューション、OOD)カテゴリのサンプルに遭遇することが多い。
既知の(配布中、ID)クラスを誤分類することは予測精度を低下させるだけでなく、適応過程を損なう可能性もあり、その後のIDサンプルのさらなるエラーにつながる。
既存のTTA手法の多くは、そのような条件下ではかなりの性能低下を被っている。
この課題に対処するために,すべてのTransformer層にまたがるクラストークンからOOD機能を抽出する階層型ラダーネットワークを提案する。
OOD検出性能は、元のモデル予測と、重み付き確率融合による階層ラダーネットワーク(HLN)の出力を組み合わせることで向上する。
ドメインシフト下でのロバスト性を改善するために,トークン情報に条件付けられた自己認識機構を適応的に洗練し,ドメインドリフトに適応し,ドメインシフトを伴うデータセット上でのモデルの分類性能を向上させるアテンションアフィンネットワーク(AAN)を導入する。
また, 適応時の低信頼試料の影響を動的に抑制するために, 重み付きエントロピー機構を用いる。
ベンチマークデータセットを用いた実験結果から,本手法は最も広く使用されている分類データセットの性能を著しく向上させることが示された。
関連論文リスト
- Neural Collapse in Test-Time Adaptation [12.636904518839303]
Test-Time Adaptation (TTA)は、推論中にモデルをオンラインに更新することで、アウト・オブ・ディストリビューションデータに対する堅牢性を高める。
近年、ディープニューラルネットワーク(DNN)の創発的幾何学的性質としてニューラル・コラプス(NC)が提案されている。
性能劣化は, より大きな分布シフトの下で悪化する適応のサンプルワイズミスアライメントに起因していると確認した。
我々は,信頼できない擬似ラベルの影響を軽減するために,ハイブリッドターゲットを用いた特徴分類器アライメント手法であるNCTTAを提案する。
論文 参考訳(メタデータ) (2025-12-11T08:34:58Z) - Did Models Sufficient Learn? Attribution-Guided Training via Subset-Selected Counterfactual Augmentation [61.248535801314375]
Subset-Selected Counterfactual Augmentation (SS-CA)
我々は,モデル予測を選択的に変更可能な最小空間領域集合を識別するために,対実的LIMAを開発した。
実験により,SS-CAは分布内テストデータ(ID)の一般化を改善し,分布外ベンチマーク(OOD)において優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2025-11-15T08:39:22Z) - HyperTTA: Test-Time Adaptation for Hyperspectral Image Classification under Distribution Shifts [28.21559601586271]
HyperTTA (Test-Time Adaptable Transformer for Hyperspectral Degradation) は、様々な劣化条件下でモデルロバスト性を高める統一フレームワークである。
テスト時の適応戦略である、信頼を意識したエントロピー最小化LayerNorm Adapter (CELA)は、LayerNorm層のアフィンパラメータのみを動的に更新する。
2つのベンチマークデータセットの実験では、HyperTTAがさまざまな劣化シナリオで最先端のベースラインを上回っていることが示されている。
論文 参考訳(メタデータ) (2025-09-10T09:31:37Z) - Knowledge Regularized Negative Feature Tuning of Vision-Language Models for Out-of-Distribution Detection [54.433899174017185]
信頼性の高い機械学習モデルを構築するには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
我々はKR-NFT(Knowledge Regularized Negative Feature Tuning)と呼ばれる新しい手法を提案する。
NFTは、事前訓練されたテキスト特徴に分布認識変換を適用し、正および負の特徴を異なる空間に効果的に分離する。
ImageNetデータセットから数発のサンプルをトレーニングすると、KR-NFTはID分類精度とOOD検出を改善するだけでなく、FPR95を5.44%削減する。
論文 参考訳(メタデータ) (2025-07-26T07:44:04Z) - DynaSubVAE: Adaptive Subgrouping for Scalable and Robust OOD Detection [14.940518154050931]
表現学習と適応OOD検出を共同で行う動的サブグループ変分自動符号化フレームワークであるDynaSubVAEを紹介する。
従来のアプローチとは異なり、DynaSubVAEはその潜在構造を動的に更新して新しいトレンドを捉え、データとともに進化する。
論文 参考訳(メタデータ) (2025-06-11T21:33:52Z) - Reliably Detecting Model Failures in Deployment Without Labels [14.069153343960734]
本稿では,デプロイ後劣化(PDD)モニタリングの問題点を定式化し,対処する。
本稿では,予測モデルの相違に基づく,実用的で効率的なモニタリングアルゴリズムD3Mを提案する。
標準ベンチマークと実世界の大規模内科データセットによる実証的な結果から,フレームワークの有効性が示された。
論文 参考訳(メタデータ) (2025-06-05T13:56:18Z) - PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。
本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
論文 参考訳(メタデータ) (2024-09-24T07:57:21Z) - Enhancing Test Time Adaptation with Few-shot Guidance [62.49199492255226]
深層ニューラルネットワークは、トレーニング(ソース)とテスト(ターゲット)データのドメインシフトに直面しながら、大きなパフォーマンス低下に直面することが多い。
TTA(Test Time Adaptation)法は,事前学習したソースモデルを用いて,配信外ストリーミングターゲットデータを処理する手法として提案されている。
本稿では,Few-Shot Test Time Adaptation (FS-TTA) を開発した。
論文 参考訳(メタデータ) (2024-09-02T15:50:48Z) - Diffusion Model Driven Test-Time Image Adaptation for Robust Skin Lesion Classification [24.08402880603475]
テストデータ上でのモデルの精度を高めるためのテスト時間画像適応手法を提案する。
拡散モデルを用いて、対象の試験画像をソース領域に投影して修正する。
私たちの手法は、さまざまな汚職、アーキテクチャ、データレシエーションにおいて、堅牢性をより堅牢にします。
論文 参考訳(メタデータ) (2024-05-18T13:28:51Z) - AR-TTA: A Simple Method for Real-World Continual Test-Time Adaptation [1.4530711901349282]
本稿では,自律運転のためのデータセット,すなわちCLAD-CとShiFTを用いたテスト時間適応手法の検証を提案する。
現在のテスト時間適応手法は、ドメインシフトの様々な程度を効果的に扱うのに苦労している。
モデル安定性を高めるために、小さなメモリバッファを組み込むことで、確立された自己学習フレームワークを強化する。
論文 参考訳(メタデータ) (2023-09-18T19:34:23Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-03T07:45:53Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z) - MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文 参考訳(メタデータ) (2021-10-18T17:55:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。