論文の概要: Distill Once, Adapt Life-Long: Exploring Dataset Distillation for Continual Test-Time Adaptation
- arxiv url: http://arxiv.org/abs/2606.20196v1
- Date: Thu, 18 Jun 2026 13:11:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-19 18:23:39.867401
- Title: Distill Once, Adapt Life-Long: Exploring Dataset Distillation for Continual Test-Time Adaptation
- Title(参考訳): 一度蒸留し、ライフサイクル長を順応する:連続的なテスト時間適応のためのデータセット蒸留を探求する
- Authors: Hyun-Kurl Jang, Jihun Kim, Hyeokjun Kweon, Kuk-Jin Yoon,
- Abstract要約: 連続テスト時間適応(CTTA)は、ラベル付きデータなしでオンラインに適応することで、進化するターゲットドメインの下でモデルパフォーマンスを維持することを目的としている。
DO-ALL(Distill Once, Adapt Life-Long)は、ソース情報をコンパクトでプライバシに意識した形で再考するプラグイン・アンド・プレイのフレームワークである。
- 参考スコア(独自算出の注目度): 58.69982623883049
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual Test-Time Adaptation (CTTA) aims to maintain model performance under evolving target domains by adapting online without labeled data. However, practical deployments often cannot retain the source dataset due to privacy or licensing constraints, and purely source-free CTTA methods tend to become unstable under long-term distribution shift, suffering from compounding self-training errors and catastrophic forgetting. We introduce DO-ALL (Distill Once, Adapt Life-Long), a plug-and-play framework that revisits source information in a compact and privacy-conscious form via Dataset Distillation (DD). Before deployment, DO-ALL performs DD to produce a small set of synthetic distilled anchors that summarize the source distribution. During adaptation, each target sample is matched with its most semantically aligned anchor, which provides a stable reference for various CTTA via source replay, representation alignment, and manifold-smoothing regularization. DO-ALL can be seamlessly integrated into existing CTTA algorithms, consistently improving long-term robustness across CIFAR100-C, ImageNet-C, and the CCC benchmark. This demonstrates the potential of leveraging DD to enable stable and continuous adaptation without retaining raw source data. The code is available at https://github.com/blue-531/DOALL.
- Abstract(参考訳): 連続テスト時間適応(CTTA)は、ラベル付きデータなしでオンラインに適応することで、進化するターゲットドメインの下でモデルパフォーマンスを維持することを目的としている。
しかし、実際のデプロイメントでは、プライバシやライセンスの制約によってソースデータセットを保持できないことが多く、純粋なソースフリーのCTTAメソッドは、長期の分散シフトで不安定になりがちであり、自己学習エラーと破滅的な忘れが混在する。
DO-ALL(Distill Once, Adapt Life-Long)は,データセット蒸留(DD)を介して,ソース情報をコンパクトかつプライバシ意識の形で再考する,プラグイン・アンド・プレイのフレームワークである。
DO-ALLは、展開前にDDを行い、ソース分布を要約した少量の合成蒸留アンカーを生産する。
適応中、各ターゲットサンプルは最もセマンティックに整列されたアンカーと一致し、ソースリプレイ、表示アライメント、多様体の滑らかな正規化を通じて、様々なCTTAに対して安定した参照を提供する。
DO-ALLは既存のCTTAアルゴリズムにシームレスに統合することができ、CIFAR100-C、ImageNet-C、CCベンチマークの長期的な堅牢性を一貫して改善することができる。
このことは、DDを活用して、生のデータを保持することなく、安定した継続的な適応を可能にする可能性を実証している。
コードはhttps://github.com/blue-531/DOALL.comから入手できる。
関連論文リスト
- Learning from Many and Adapting to the Unknown in Open-set Test Streams [24.690368986775848]
大規模言語モデル(LLM)は、再利用可能な表現と柔軟な推論を通じてタスクを一般化する。
SyCoはRac1およびMAPK経路を介して低ランクアダプタを更新するパラメータ効率適応法である。
論文 参考訳(メタデータ) (2026-04-01T06:23:24Z) - Backpropagation-Free Test-Time Adaptation via Probabilistic Gaussian Alignment [16.352863226512984]
テスト時間適応(TTA)は、推論中にラベルのないテストデータを活用することにより、分散シフト下でのゼロショットロバスト性を高める。
ほとんどのメソッドは、スケーラビリティを制限し、リアルタイムデプロイメントを妨げるバックプロパゲーションや反復最適化に依存しています。
本稿では,Advanced Distribution-AwareとBack propagation-free Test-time Adapting法であるADAPTを提案する。
論文 参考訳(メタデータ) (2025-08-21T13:42:49Z) - BayesTTA: Continual-Temporal Test-Time Adaptation for Vision-Language Models via Gaussian Discriminant Analysis [41.09181390655176]
CLIPのような視覚言語モデル(VLM)は、強いゼロショット認識を実現するが、実世界のシナリオに共通する時空間的な分散シフトの下で大幅に劣化する。
テスト分布が時間とともに徐々に変化するCT-TTA(textitContinal-Temporal Test-Time Adaptation)として、この実践的問題を定式化する。
我々は、時間的に一貫した予測を実行し、視覚表現を動的に調整する、ベイズ適応フレームワークであるtextitBayesTTAを提案する。
論文 参考訳(メタデータ) (2025-07-11T14:02:54Z) - Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。
本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。
本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
論文 参考訳(メタデータ) (2024-07-26T17:51:58Z) - AR-TTA: A Simple Method for Real-World Continual Test-Time Adaptation [1.4530711901349282]
本稿では,自律運転のためのデータセット,すなわちCLAD-CとShiFTを用いたテスト時間適応手法の検証を提案する。
現在のテスト時間適応手法は、ドメインシフトの様々な程度を効果的に扱うのに苦労している。
モデル安定性を高めるために、小さなメモリバッファを組み込むことで、確立された自己学習フレームワークを強化する。
論文 参考訳(メタデータ) (2023-09-18T19:34:23Z) - Confidence Attention and Generalization Enhanced Distillation for
Continuous Video Domain Adaptation [62.458968086881555]
連続ビデオドメイン適応(CVDA、Continuous Video Domain Adaptation)は、ソースモデルが個々の変更対象ドメインに適応する必要があるシナリオである。
CVDAの課題に対処するため,遺伝子組み換え型自己知識解離(CART)を用いた信頼性保証ネットワークを提案する。
論文 参考訳(メタデータ) (2023-03-18T16:40:10Z) - Divide and Contrast: Source-free Domain Adaptation via Adaptive
Contrastive Learning [122.62311703151215]
Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。
DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。
さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
論文 参考訳(メタデータ) (2022-11-12T09:21:49Z) - Back to the Source: Diffusion-Driven Test-Time Adaptation [77.4229736436935]
テスト時間適応はテスト入力を利用し、シフトしたターゲットデータ上でテストした場合、ソースデータに基づいてトレーニングされたモデルの精度を向上させる。
代わりに、生成拡散モデルを用いて、すべてのテスト入力をソース領域に向けて投影することで、ターゲットデータを更新する。
論文 参考訳(メタデータ) (2022-07-07T17:14:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。