論文の概要: FRET: Feature Redundancy Elimination for Test Time Adaptation

• arxiv url: http://arxiv.org/abs/2505.10641v1
• Date: Thu, 15 May 2025 18:22:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:13.373045
• Title: FRET: Feature Redundancy Elimination for Test Time Adaptation
• Title（参考訳）: FRET: テスト時間適応のための機能冗長性排除
• Authors: Linjing You, Jiabao Lu, Xiayuan Huang, Xiangli Nie,
• Abstract要約: テスト時間適応(TTA)は、トレーニングデータからの分散シフトを示すテストデータに直面した場合、ディープラーニングモデルの一般化を促進することを目的としている。 実際には、TTAのドメインシフトが増大するにつれて、埋め込みにおける特徴冗長性が増大する傾向にある。 本稿では,テスト時間適応のための特徴冗長性除去(FRET)について紹介する。
• 参考スコア（独自算出の注目度）: 4.793572485305334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-Time Adaptation (TTA) aims to enhance the generalization of deep learning models when faced with test data that exhibits distribution shifts from the training data. In this context, only a pre-trained model and unlabeled test data are available, making it particularly relevant for privacy-sensitive applications. In practice, we observe that feature redundancy in embeddings tends to increase as domain shifts intensify in TTA. However, existing TTA methods often overlook this redundancy, which can hinder the model's adaptability to new data. To address this issue, we introduce Feature Redundancy Elimination for Test-time Adaptation (FRET), a novel perspective for TTA. A straightforward approach (S-FRET) is to directly minimize the feature redundancy score as an optimization objective to improve adaptation. Despite its simplicity and effectiveness, S-FRET struggles with label shifts, limiting its robustness in real-world scenarios. To mitigate this limitation, we further propose Graph-based FRET (G-FRET), which integrates a Graph Convolutional Network (GCN) with contrastive learning. This design not only reduces feature redundancy but also enhances feature discriminability in both the representation and prediction layers. Extensive experiments across multiple model architectures, tasks, and datasets demonstrate the effectiveness of S-FRET and show that G-FRET achieves state-of-the-art performance. Further analysis reveals that G-FRET enables the model to extract non-redundant and highly discriminative features during inference, thereby facilitating more robust test-time adaptation.
• Abstract（参考訳）: テスト時間適応(TTA)は、トレーニングデータからの分散シフトを示すテストデータに直面した場合、ディープラーニングモデルの一般化を促進することを目的としている。 このコンテキストでは、事前訓練されたモデルとラベルなしのテストデータのみが利用可能であり、特にプライバシに敏感なアプリケーションに関係している。 実際には、TTAのドメインシフトが増大するにつれて、埋め込みにおける特徴冗長性が増大する傾向にある。 しかし、既存のTTAメソッドは、しばしばこの冗長性を見落とし、新しいデータへのモデルの適応性を妨げかねない。 この問題に対処するために、TTAの新しい視点であるテスト時間適応のための特徴冗長性除去(FRET)を紹介する。 簡単なアプローチ(S-FRET)は、適応性を改善するための最適化目的として、特徴冗長性のスコアを直接最小化することである。 その単純さと有効性にもかかわらず、S-FRETはラベルシフトに苦慮し、現実のシナリオでの堅牢性を制限する。 この制限を緩和するために、グラフ畳み込みネットワーク(GCN)と対照的な学習を統合したグラフベースのFRET(G-FRET)を提案する。 この設計は特徴の冗長性を低減させるだけでなく、表現層と予測層の両方で特徴の識別性を高める。 複数のモデルアーキテクチャ、タスク、データセットにわたる大規模な実験は、S-FRETの有効性を示し、G-FRETが最先端のパフォーマンスを達成することを示す。 さらなる分析により、G-FRETは推論中に非冗長で高い識別性を持つ特徴を抽出し、より堅牢なテスト時間適応を容易にすることが判明した。

関連論文リスト

• Structural Alignment Improves Graph Test-Time Adaptation [17.564393890432193]
  グラフに基づく学習は、リコメンデーションから不正検出、粒子物理学まで、領域で顕著な成功を収めた。 分散シフトが発生すると、特にネットワーク接続やインタラクションパターンの変化に関わることを一般化するのに苦労することが多い。 このようなシフトを軽減するために設計された既存のアプローチは、典型的にはソースデータへの完全なアクセスで再トレーニングする必要がある。 本稿では,GTTA(Graph Test-Time Adaptation)のためのテスト時構造アライメント(TSA)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-02-25T16:26:25Z)
• Directed Structural Adaptation to Overcome Statistical Conflicts and Enable Continual Learning [15.376349115976534]
  本稿では、データセット内の統計的衝突に制限されることなく、必要に応じて、かつ指示された方法で複雑な構造適応法DIRADを提案する。 次に,この手法を拡張し,継続学習における「破滅的忘れ」を防止するために設計されたPreVALフレームワークを提案する。 固定トポロジネットワークよりも高い性能とオーダーオブマグニチュードを持つネットワークを成長させる上でのDIRADの信頼性を示す。
  論文  参考訳（メタデータ） (2024-12-05T14:30:18Z)
• Enhancing Fine-Grained Visual Recognition in the Low-Data Regime Through Feature Magnitude Regularization [23.78498670529746]
  抽出した特徴量の均等分布を保証するために正規化手法を導入する。 その明らかな単純さにもかかわらず、我々の手法は様々な細粒度視覚認識データセットに対して顕著な性能向上を示した。
  論文  参考訳（メタデータ） (2024-09-03T07:32:46Z)
• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• A Layer Selection Approach to Test Time Adaptation [0.2968738145616401]
  テスト時間適応(TTA)は、推論中に事前訓練されたモデルを新しいドメインに適応させることによって、分散シフトの問題に対処する。 提案するGALAは,TTA中に最も有益な更新を行うための新しいレイヤ選択基準である。
  論文  参考訳（メタデータ） (2024-04-04T19:55:11Z)
• Generalized Face Forgery Detection via Adaptive Learning for Pre-trained Vision Transformer [54.32283739486781]
  適応学習パラダイムの下で,textbfForgery-aware textbfAdaptive textbfVision textbfTransformer(FA-ViT)を提案する。 FA-ViTは、クロスデータセット評価において、Celeb-DFおよびDFDCデータセット上で93.83%と78.32%のAUCスコアを達成する。
  論文  参考訳（メタデータ） (2023-09-20T06:51:11Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。