論文の概要: Learning to Adapt to Online Streams with Distribution Shifts

• arxiv url: http://arxiv.org/abs/2303.01630v1
• Date: Thu, 2 Mar 2023 23:36:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 16:38:20.991978
• Title: Learning to Adapt to Online Streams with Distribution Shifts
• Title（参考訳）: 分散シフトでオンラインストリームに適応する学習
• Authors: Chenyan Wu, Yimu Pan, Yandong Li, James Z. Wang
• Abstract要約: テスト時間適応(TTA)は、推論中にラベルのないテストデータを活用することにより、トレーニングセットとテストセットの間の分散ギャップを低減する手法である。 この作業では、TTAをより実践的なシナリオに拡張し、テストデータは、時間とともに分散の変化を経験するオンラインストリームの形式で提供される。 本稿では,メタトレーニング中にネットワークに分散シフトするオンラインストリームに適応するように教えるメタラーニング手法を提案する。その結果,トレーニングされたモデルはバッチサイズ制限にかかわらず,テスト中の分散シフトに連続的に適応することができる。
• 参考スコア（独自算出の注目度）: 22.155844301575883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time adaptation (TTA) is a technique used to reduce distribution gaps between the training and testing sets by leveraging unlabeled test data during inference. In this work, we expand TTA to a more practical scenario, where the test data comes in the form of online streams that experience distribution shifts over time. Existing approaches face two challenges: reliance on a large test data batch from the same domain and the absence of explicitly modeling the continual distribution evolution process. To address both challenges, we propose a meta-learning approach that teaches the network to adapt to distribution-shifting online streams during meta-training. As a result, the trained model can perform continual adaptation to distribution shifts in testing, regardless of the batch size restriction, as it has learned during training. We conducted extensive experiments on benchmarking datasets for TTA, incorporating a broad range of online distribution-shifting settings. Our results showed consistent improvements over state-of-the-art methods, indicating the effectiveness of our approach. In addition, we achieved superior performance in the video segmentation task, highlighting the potential of our method for real-world applications.
• Abstract（参考訳）: テスト時間適応(TTA)は、推論中にラベルのないテストデータを活用することにより、トレーニングセットとテストセットの間の分散ギャップを低減する手法である。 この作業では、TTAをより実践的なシナリオに拡張し、テストデータは、時間とともに分散の変化を経験するオンラインストリームの形式で提供される。 既存のアプローチは2つの課題に直面している。同じドメインから大規模なテストデータバッチに依存することと、継続的な分散進化プロセスを明示的にモデル化しないことだ。 いずれの課題にも対処すべく,メタトレーニング中に分散シフトするオンラインストリームに適応するようネットワークに教えるメタラーニング手法を提案する。 結果として、トレーニング中に学習したバッチサイズ制限にかかわらず、トレーニングされたモデルは、テスト中の分散シフトに対して連続的な適応を行うことができる。 我々は,ttaのベンチマークデータセットに関する広範囲な実験を行い,幅広いオンライン配信シフト設定を組み込んだ。 その結果,最先端手法よりも一貫した改善がみられ,提案手法の有効性が示された。 さらに,ビデオセグメンテーションタスクにおいて,実世界のアプリケーションに対する手法の可能性を強調し,優れたパフォーマンスを実現した。

関連論文リスト

• BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
  本稿では,テスト時間適応フレームワークを提案する。 我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。 理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-20T15:58:43Z)
• Distribution Alignment for Fully Test-Time Adaptation with Dynamic Online Data Streams [19.921480334048756]
  TTA(Test-Time Adaptation)は、テストデータストリームの適応と推論を可能にする。 本稿では,TTAにおける新しい配電アライメント損失を提案する。 我々は、非i.d.シナリオにおける既存の手法を超越し、理想的なi.d.仮定の下で競争性能を維持する。
  論文  参考訳（メタデータ） (2024-07-16T19:33:23Z)
• Any-Shift Prompting for Generalization over Distributions [66.29237565901734]
  即時学習におけるトレーニングとテスト分布の関係を考察する一般的な確率的推論フレームワークである「任意のシフトプロンプト」を提案する。 このフレームワーク内では、テストプロンプトが分散関係を利用して、CLIPイメージ言語モデルのトレーニングからテストディストリビューションへの一般化を導く。 ネットワークは、トレーニング情報とテスト情報の両方をフィードフォワードパスに組み込んだ調整されたテストプロンプトを生成し、テスト時の追加のトレーニングコストを回避する。
  論文  参考訳（メタデータ） (2024-02-15T16:53:42Z)
• Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
  そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。 提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
  論文  参考訳（メタデータ） (2023-04-25T12:29:22Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
  新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。 このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• Addressing Distribution Shift at Test Time in Pre-trained Language Models [3.655021726150369]
  State-of-the-the-art pre-trained Language Model (PLM)は、多くの言語処理タスクに適用された場合、他のモデルよりも優れている。 PLMは分散シフト下で性能が低下することが判明した。 本研究では,分散シフト下での試験時間におけるPLMの性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2022-12-05T16:04:54Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• VisDA-2021 Competition Universal Domain Adaptation to Improve Performance on Out-of-Distribution Data [64.91713686654805]
  Visual Domain Adaptation (VisDA) 2021コンペティションは、新しいテストディストリビューションに適応するモデルの能力をテストする。 我々は,新しい視点,背景,モダリティ,品質劣化への適応性を評価する。 厳密なプロトコルを使用してパフォーマンスを計測し、最先端のドメイン適応手法と比較する。
  論文  参考訳（メタデータ） (2021-07-23T03:21:51Z)
• Unsupervised neural adaptation model based on optimal transport for spoken language identification [54.96267179988487]
  トレーニングセットとテストセット間の音響音声の統計的分布のミスマッチにより,音声言語識別(SLID)の性能が大幅に低下する可能性がある。 SLIDの分布ミスマッチ問題に対処するために,教師なしニューラル適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-12-24T07:37:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。