論文の概要: Drift-adaptive Representation Preservation for Domain-Incremental Learning
- arxiv url: http://arxiv.org/abs/2611.06093v1
- Date: Wed, 04 Nov 2026 07:37:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.015232
- Title: Drift-adaptive Representation Preservation for Domain-Incremental Learning
- Title(参考訳): ドメイン・インクリメンタル学習のためのドリフト適応表現保存
- Abstract要約: 我々は、忘れることがドメインやクラス間で均一ではなく、訓練順序だけでは説明されないことを観察する。
我々は、過去の概念の現在の表現を固定アンカーから逸脱させるものとして定義された表現ドリフトを、リスクを忘れるための測定可能なサロゲートとして使用する。
各ドメインクラスのペアに対して、バックボーンの特徴空間にコンパクトなコンテキストサマリのみを格納し、学習されたコンテキストとターゲットの関係を通して再実行して、固定アンカーからのドリフトを測定する。
- 参考スコア(独自算出の注目度): 1.1809924880995972
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Pretrained vision models provide strong general-purpose representations, but in Domain-Incremental Learning (DIL), where the input distribution changes sequentially, adapting to new domains often degrades performance on previously learned ones. We observe that forgetting is not uniform across domains and classes and is not explained by training order alone. This motivates us to track each past domain-class concept individually. We use representation drift, defined as the deviation of a past concept's current representation from a fixed anchor, as a measurable surrogate for forgetting risk. The measured drift then serves two complementary roles. A consolidation loss assigns stronger preservation to high-drift pairs, while prototype construction down-weights highly drifted domains to reduce their influence on the class reference. Preservation is thus allocated by measured drift rather than assumed importance. To obtain this signal during training without storing past raw data, we repurpose a Joint-Embedding Predictive Architecture (JEPA). For each domain-class pair, we store only a compact context summary in the backbone feature space and rerun it through the learned context-to-target relation to measure its drift from the fixed anchor. Across DomainNet, Office-Home, CORe50, and CDDB-Hard, our method sustains a strong accuracy-forgetting balance on every benchmark, using substantially less training memory than accuracy-competitive methods and the smallest storage among compared methods.
- Abstract(参考訳): 事前学習された視覚モデルは、強力な汎用表現を提供するが、入力分布が逐次変化するドメインインクリメンタルラーニング(DIL)では、新しいドメインに適応することで、以前に学習したドメインのパフォーマンスが劣化することが多い。
我々は、忘れることがドメインやクラス間で均一ではなく、訓練順序だけでは説明されないことを観察する。
これは、過去のドメインクラスの概念を個別に追跡する動機となります。
我々は、過去の概念の現在の表現を固定アンカーから逸脱させるものとして定義された表現ドリフトを、リスクを忘れるための測定可能なサロゲートとして使用する。
測定されたドリフトは2つの補完的な役割を果たす。
凝縮損失は、高いドリフト対に強い保存を割り当て、一方、プロトタイプ構築のダウンウェイトは、クラス参照への影響を減らすために、高度にドリフトされたドメインを割り当てる。
したがって、保存は重要と仮定されるのではなく、測定されたドリフトによって割り当てられる。
過去の生データを保存せずにトレーニング中にこの信号を得るため、我々はJEPA(Joint-Embedding Predictive Architecture)を再利用した。
各ドメインクラスのペアに対して、バックボーンの特徴空間にコンパクトなコンテキストサマリのみを格納し、学習されたコンテキストとターゲットの関係を通して再実行して、固定アンカーからのドリフトを測定する。
DomainNet, Office-Home, CORe50, CDDB-Hardをまたいで, 本手法は, 精度比較法よりもトレーニングメモリが大幅に少なく, 比較した手法の中で最小の記憶容量を用いて, ベンチマーク毎に高い精度鍛造バランスを保っている。
関連論文リスト
- Balanced Learning for Domain Adaptive Semantic Segmentation [37.70100155953312]
意味的セグメンテーションのための教師なしドメイン適応(UDA)は、ラベル付きソースドメインからラベル付きターゲットドメインへ知識を転送することを目的としている。
UDAにおける自己学習技術の有効性にもかかわらず、各クラスは、固有のクラス不均衡とデータとドメイン間のラベル空間の分散シフトのために、バランスの取れた方法で学習するのに苦労している。
本稿では,分布シフトに関する事前知識を必要とせずに,クラスバイアスを直接評価・緩和するための新しいアプローチであるBallotd Learning for Domain Adaptation (BLDA)を提案する。
論文 参考訳(メタデータ) (2025-12-07T15:21:22Z) - Progressive Conservative Adaptation for Evolving Target Domains [76.9274842289221]
従来のドメイン適応は、典型的には、ソースドメインから定常ターゲットドメインに知識を転送する。
このような対象データに対する復元と適応は、時間とともに計算とリソース消費をエスカレートする。
我々は、進歩的保守的適応(PCAda)と呼ばれる、単純で効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2024-02-07T04:11:25Z) - Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
メトリクス学習はコンピュータビジョンの基本的な問題である。
蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。
特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
論文 参考訳(メタデータ) (2023-03-30T03:22:52Z) - Forget Less, Count Better: A Domain-Incremental Self-Distillation
Learning Benchmark for Lifelong Crowd Counting [51.44987756859706]
オフザシェルフ法は複数のドメインを扱うのにいくつかの欠点がある。
生涯クラウドカウンティングは、壊滅的な忘れを緩和し、一般化能力を改善することを目的としている。
論文 参考訳(メタデータ) (2022-05-06T15:37:56Z) - Low-confidence Samples Matter for Domain Adaptation [47.552605279925736]
ドメイン適応(DA)は、知識をラベルの豊富なソースドメインから関連するがラベルの少ないターゲットドメインに転送することを目的としている。
低信頼度サンプルの処理による新しいコントラスト学習法を提案する。
提案手法を教師なしと半教師付きの両方のDA設定で評価する。
論文 参考訳(メタデータ) (2022-02-06T15:45:45Z) - Ranking Distance Calibration for Cross-Domain Few-Shot Learning [91.22458739205766]
数ショット学習の最近の進歩は、より現実的なクロスドメイン設定を促進する。
ドメインギャップとソースとターゲットデータセット間のラベル空間の相違により、共有される知識は極めて限られている。
我々は,タスク内の相互k-アネレスト近傍を発見することで,目標距離行列の校正を行う。
論文 参考訳(メタデータ) (2021-12-01T03:36:58Z) - Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training
for Road Segmentation of Remote Sensing Images [93.50240389540252]
リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。
本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。
2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2021-08-28T09:29:14Z) - Contrastive Learning and Self-Training for Unsupervised Domain
Adaptation in Semantic Segmentation [71.77083272602525]
UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。
本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。
提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
論文 参考訳(メタデータ) (2021-05-05T11:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。