論文の概要: Train/Test-Time Adaptation with Retrieval

• arxiv url: http://arxiv.org/abs/2303.14333v1
• Date: Sat, 25 Mar 2023 02:44:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 20:40:42.550657
• Title: Train/Test-Time Adaptation with Retrieval
• Title（参考訳）: 検索による列車・テスト時間適応
• Authors: Luca Zancato, Alessandro Achille, Tian Yu Liu, Matthew Trager, Pramuditha Perera, Stefano Soatto
• Abstract要約: Train/Test-Time Adaptation with Retrieval(rm T3AR$)を紹介します。 $rm T3AR$は、洗練された擬似ラベルと自己教師付きコントラスト目的関数を使用して、所定のモデルを下流タスクに適合させる。 検索モジュールのおかげで、ユーザまたはサービスプロバイダは、下流タスクのモデル適応を改善することができる。
• 参考スコア（独自算出の注目度）: 129.8579208970529
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Train/Test-Time Adaptation with Retrieval (${\rm T^3AR}$), a method to adapt models both at train and test time by means of a retrieval module and a searchable pool of external samples. Before inference, ${\rm T^3AR}$ adapts a given model to the downstream task using refined pseudo-labels and a self-supervised contrastive objective function whose noise distribution leverages retrieved real samples to improve feature adaptation on the target data manifold. The retrieval of real images is key to ${\rm T^3AR}$ since it does not rely solely on synthetic data augmentations to compensate for the lack of adaptation data, as typically done by other adaptation algorithms. Furthermore, thanks to the retrieval module, our method gives the user or service provider the possibility to improve model adaptation on the downstream task by incorporating further relevant data or to fully remove samples that may no longer be available due to changes in user preference after deployment. First, we show that ${\rm T^3AR}$ can be used at training time to improve downstream fine-grained classification over standard fine-tuning baselines, and the fewer the adaptation data the higher the relative improvement (up to 13%). Second, we apply ${\rm T^3AR}$ for test-time adaptation and show that exploiting a pool of external images at test-time leads to more robust representations over existing methods on DomainNet-126 and VISDA-C, especially when few adaptation data are available (up to 8%).
• Abstract（参考訳）: 検索モジュールと検索可能な外部サンプルのプールを用いて,列車時とテスト時の両方でモデルを適用する手法であるTrain/Test-Time Adaptation with Retrieval({\rm T^3AR}$)を紹介する。 推定に先立ち、${\rm T^3AR}$は、修正された擬似ラベルと、抽出した実サンプルを利用した自己教師付きコントラスト目的関数を用いて、所定のモデルを下流タスクに適応させ、ターゲットデータ多様体の特徴適応を改善する。 実際の画像の検索は${\rm t^3ar}$の鍵であり、それは他の適応アルゴリズムが行うように、適応データの欠如を補うために合成データ拡張のみに依存しないからである。 さらに,検索モジュールのおかげで,ユーザやサービスプロバイダは,追加の関連データを組み込んだり,デプロイ後のユーザの嗜好の変化により利用できなくなったサンプルを完全に削除することで,ダウンストリームタスクのモデル適応を改善することができる。 まず, 訓練時間に${\rm t^3ar}$を用いて, 標準微調整ベースラインに対する下流細粒度分類を改善し, 適応データが少ないほど, 相対的改善率 (最大13%) が向上することを示した。 次に、テスト時適応に${\rm T^3AR}$を適用し、テスト時に外部画像のプールを利用すると、DomainNet-126とVISDA-Cの既存のメソッドよりもロバストな表現が得られることを示す。

関連論文リスト

• Few-shot Online Anomaly Detection and Segmentation [29.693357653538474]
  本稿では,難易度の高いオンライン異常検出・セグメンテーション(FOADS)の課題に対処することに焦点を当てる。 FOADSフレームワークでは、モデルを数ショットの通常のデータセットでトレーニングし、その後、正常サンプルと異常サンプルの両方を含む未ラベルのストリーミングデータを活用することで、その能力の検査と改善を行う。 限られたトレーニングサンプルを用いた性能向上のために,ImageNetで事前学習したCNNから抽出したマルチスケール特徴埋め込みを用いて,ロバストな表現を得る。
  論文  参考訳（メタデータ） (2024-03-27T02:24:00Z)
• What, How, and When Should Object Detectors Update in Continually Changing Test Domains? [34.13756022890991]
  テストデータを推測しながらモデルをオンラインに適応させるテスト時適応アルゴリズムが提案されている。 連続的に変化するテスト領域におけるオブジェクト検出のための新しいオンライン適応手法を提案する。 提案手法は,広く使用されているベンチマークのベースラインを超え,最大4.9%,mAP7.9%の改善を実現している。
  論文  参考訳（メタデータ） (2023-12-12T07:13:08Z)
• $\Delta$-Patching: A Framework for Rapid Adaptation of Pre-trained Convolutional Networks without Base Performance Loss [71.46601663956521]
  大規模なデータセットで事前トレーニングされたモデルはしばしば、時間とともにやってくる新しいタスクやデータセットをサポートするように微調整される。 モデルコピーを格納することなく、効率よく微調整ニューラルネットワークモデルに$Delta$-Patchingを提案する。 我々の実験によると、$Delta$-Networksは、トレーニングされるパラメータのごく一部しか必要とせず、初期のモデルパッチ作業より優れています。
  論文  参考訳（メタデータ） (2023-03-26T16:39:44Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• On-the-Fly Test-time Adaptation for Medical Image Segmentation [63.476899335138164]
  ソースモデルをテスト時にターゲットデータに適応させることは、データシフト問題に対する効率的な解決策である。 本稿では、各畳み込みブロックに適応バッチ正規化層を設けるAdaptive UNetという新しいフレームワークを提案する。 テスト期間中、モデルは新しいテストイメージのみを取り込み、ドメインコードを生成して、テストデータに従ってソースモデルの特徴を適応させる。
  論文  参考訳（メタデータ） (2022-03-10T18:51:29Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• MT3: Meta Test-Time Training for Self-Supervised Test-Time Adaption [69.76837484008033]
  ディープラーニングの未解決の問題は、ニューラルネットワークがテスト時間中のドメインシフトに対処する能力である。 メタラーニング、自己監督、テストタイムトレーニングを組み合わせて、目に見えないテスト分布に適応する方法を学びます。 この手法はcifar-10による画像分類ベンチマークの最先端結果を大幅に改善する。
  論文  参考訳（メタデータ） (2021-03-30T09:33:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。