論文の概要: ReC-TTT: Contrastive Feature Reconstruction for Test-Time Training

• arxiv url: http://arxiv.org/abs/2411.17869v1
• Date: Tue, 26 Nov 2024 20:38:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:27:50.132387
• Title: ReC-TTT: Contrastive Feature Reconstruction for Test-Time Training
• Title（参考訳）: ReC-TTT:テストタイムトレーニングのための対照的な特徴再構成
• Authors: Marco Colussi, Sergio Mascetti, Jose Dolz, Christian Desrosiers,
• Abstract要約: 深層学習モデルを新しい未知の領域に適応させるテストタイムトレーニング手法を提案する。 ReC-TTTは、凍結エンコーダと2つのトレーニング可能なエンコーダの間の補助的なタスクとしてクロスコンストラクションを使用する。 ReC-TTTは、ほとんどのドメインシフト分類課題において、最先端技術よりも優れた結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 15.572896213775438
• License:
• Abstract: The remarkable progress in deep learning (DL) showcases outstanding results in various computer vision tasks. However, adaptation to real-time variations in data distributions remains an important challenge. Test-Time Training (TTT) was proposed as an effective solution to this issue, which increases the generalization ability of trained models by adding an auxiliary task at train time and then using its loss at test time to adapt the model. Inspired by the recent achievements of contrastive representation learning in unsupervised tasks, we propose ReC-TTT, a test-time training technique that can adapt a DL model to new unseen domains by generating discriminative views of the input data. ReC-TTT uses cross-reconstruction as an auxiliary task between a frozen encoder and two trainable encoders, taking advantage of a single shared decoder. This enables, at test time, to adapt the encoders to extract features that will be correctly reconstructed by the decoder that, in this phase, is frozen on the source domain. Experimental results show that ReC-TTT achieves better results than other state-of-the-art techniques in most domain shift classification challenges.
• Abstract（参考訳）: ディープラーニング(DL)の顕著な進歩は、様々なコンピュータビジョンタスクにおいて顕著な成果を示す。 しかし、データ分布のリアルタイム変動への適応は依然として重要な課題である。 この課題に対してTTT(Test-Time Training)が有効な解決策として提案され,列車時に補助的なタスクを付加し,テスト時にその損失を利用してモデルを適応させることにより,トレーニングモデルの一般化能力を高める。 教師なしタスクにおけるコントラスト表現学習の最近の成果から着想を得たReC-TTTは、入力データの識別的ビューを生成することにより、DLモデルを新しい未確認領域に適応できるテストタイムトレーニング手法である。 ReC-TTTは、冷凍エンコーダと2つのトレーニング可能なエンコーダの間の補助的なタスクとしてクロスコンストラクションを使用し、1つの共有デコーダを利用する。 これにより、テスト時にエンコーダを適応させ、デコーダによって正しく再構成される機能を取り出すことができ、このフェーズでは、ソースドメインに凍結される。 実験により、ReC-TTTは、ほとんどのドメインシフト分類課題において、他の最先端技術よりも優れた結果が得られることが示された。

関連論文リスト

• Enhancing Test Time Adaptation with Few-shot Guidance [35.13317598777832]
  深層ニューラルネットワークは、トレーニング(ソース)とテスト(ターゲット)データのドメインシフトに直面しながら、大きなパフォーマンス低下に直面することが多い。 TTA(Test Time Adaptation)法は,事前学習したソースモデルを用いて,配信外ストリーミングターゲットデータを処理する手法として提案されている。 本稿では,Few-Shot Test Time Adaptation (FS-TTA) を開発した。
  論文  参考訳（メタデータ） (2024-09-02T15:50:48Z)
• NC-TTT: A Noise Contrastive Approach for Test-Time Training [19.0284321951354]
  ノイズコントラストテストタイムトレーニング(NC-TTT)は,ノイズの特徴マップの識別に基づく非教師なしTTT技術である。 予測された特徴写像のノイズの多いビューを分類し、新しい領域に応じてモデルを適応させることで、分類性能を重要なマージンで回復させることができる。
  論文  参考訳（メタデータ） (2024-04-12T10:54:11Z)
• ClusT3: Information Invariant Test-Time Training [19.461441044484427]
  これらの脆弱性を軽減するため、TTT(Test-time Training)法が開発されている。 マルチスケール特徴写像と離散潜在表現の相互情報に基づく新しい非教師付きTTT手法を提案する。 実験結果から, 様々なテスト時間適応ベンチマークにおいて, 競争力のある分類性能が示された。
  論文  参考訳（メタデータ） (2023-10-18T21:43:37Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• Improved Test-Time Adaptation for Domain Generalization [48.239665441875374]
  テストタイムトレーニング(TTT)は、学習したモデルにテストデータを適用する。 この作業は2つの主な要因に対処する: テストフェーズ中にアップデートする信頼性のあるパラメータを更新および識別するための適切な補助的TTTタスクを選択する。 トレーニングされたモデルに適応パラメータを追加し、テストフェーズでのみ適応パラメータを更新することを提案する。
  論文  参考訳（メタデータ） (2023-04-10T10:12:38Z)
• TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
  Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。 また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2022-09-23T07:47:33Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Test-time Adaptation with Slot-Centric Models [63.981055778098444]
  Slot-TTAは、半教師付きシーン分解モデルであり、シーンごとのテスト時間は、再構成やクロスビュー合成の目的に対する勾配降下を通じて適用される。 我々は、最先端の監視フィードフォワード検出器と代替テスト時間適応法に対して、配電性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2022-03-21T17:59:50Z)
• Learning Invariant Representations across Domains and Tasks [81.30046935430791]
  本稿では,この教師なしタスク転送問題を解決するための新しいタスク適応ネットワーク(tan)を提案する。 ドメイン・アドバーサル・トレーニングによる伝達可能な機能を学習することに加えて、学習から学習への戦略を用いてタスクの意味を適応させる新しいタスク・セマンティクス・アダプタを提案する。 TANは最近の強いベースラインに比べてリコールとF1スコアを5.0%と7.8%大きく向上させた。
  論文  参考訳（メタデータ） (2021-03-03T11:18:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。