論文の概要: MeTA: Multi-source Test Time Adaptation
- arxiv url: http://arxiv.org/abs/2401.02561v1
- Date: Thu, 4 Jan 2024 22:23:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-08 16:40:50.886552
- Title: MeTA: Multi-source Test Time Adaptation
- Title（参考訳）: MeTA: マルチソーステスト時間適応
- Authors: Sk Miraj Ahmed, Fahim Faisal Niloy, Dripta S. Raychaudhuri, Samet
Oymak, Amit K. Roy-Chowdhury
- Abstract要約: テスト時間適応は、教師なしの方法で、テストデータの各バッチに事前訓練されたソースモデルを適用するプロセスである。
完全教師なしのマルチソーステスト時間適応フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 44.17577480511772
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test time adaptation is the process of adapting, in an unsupervised manner, a
pre-trained source model to each incoming batch of the test data (i.e., without
requiring a substantial portion of the test data to be available, as in
traditional domain adaptation) and without access to the source data. Since it
works with each batch of test data, it is well-suited for dynamic environments
where decisions need to be made as the data is streaming in. Current test time
adaptation methods are primarily focused on a single source model. We propose
the first completely unsupervised Multi-source Test Time Adaptation (MeTA)
framework that handles multiple source models and optimally combines them to
adapt to the test data. MeTA has two distinguishing features. First, it
efficiently obtains the optimal combination weights to combine the source
models to adapt to the test data distribution. Second, it identifies which of
the source model parameters to update so that only the model which is most
correlated to the target data is adapted, leaving the less correlated ones
untouched; this mitigates the issue of "forgetting" the source model parameters
by focusing only on the source model that exhibits the strongest correlation
with the test batch distribution. Experiments on diverse datasets demonstrate
that the combination of multiple source models does at least as well as the
best source (with hindsight knowledge), and performance does not degrade as the
test data distribution changes over time (robust to forgetting).
- Abstract（参考訳）: テスト時間適応(英語: test time adaptation)とは、テストデータの入ってくるバッチ(つまり、テストデータの大部分を必要とせず、従来のドメイン適応のように)に事前訓練されたソースモデルを適用し、ソースデータにアクセスせずに適用するプロセスである。
テストデータのバッチで動作するため、データがストリーミングされるときに意思決定を行う必要がある動的環境に適しています。
現在のテスト時間適応法は主に単一ソースモデルに焦点を当てている。
複数のソースモデルを処理し、テストデータに最適な組み合わせをする、完全に教師なしのMulti-source Test Time Adaptation (MeTA) フレームワークを提案する。
MeTAには2つの特徴がある。
まず、ソースモデルを組み合わせてテストデータ分布に適応するための最適な組み合わせ重み付けを効率よく取得する。
第二に、対象データに最も相関の強いモデルのみを適用するように更新すべきソースモデルパラメータのどれかを識別し、対象データに最も相関の少ないモデルのみを未修正にしておくことにより、テストバッチ分布と強い相関を示すソースモデルのみに注目することで、ソースモデルパラメータを"忘れ"する問題を軽減する。
多様なデータセットに関する実験により、複数のソースモデルの組み合わせは、少なくとも最高のソース(後見の知識を伴う)だけでなく、テストデータの分散が時間とともに変化するため、パフォーマンスが低下しないことが示された。
関連論文リスト
- AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳（メタデータ） (2023-10-04T04:26:33Z) - Building a Winning Team: Selecting Source Model Ensembles using a
Submodular Transferability Estimation Approach [20.86345962679122]
公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。
本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
論文 参考訳（メタデータ） (2023-09-05T17:57:31Z) - Parameter-efficient Modularised Bias Mitigation via AdapterFusion [22.424110883305243]
本稿では,モデルから分離したスタンドアロンデバイアス機能を開発するための新しい手法を提案する。
DAM - まず任意のバイアス緩和機能を個別のアダプタにカプセル化し、それをオンデマンドでモデルに追加するデバイアスのアプローチを紹介します。
以上の結果から,DAMはバイアス軽減の有効性を向上・維持し,マルチ属性シナリオでの忘れを回避し,タスク性能の維持を図っている。
論文 参考訳（メタデータ） (2023-02-13T12:39:45Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Optimal Condition Training for Target Source Separation [56.86138859538063]
単一チャネルターゲットソース分離のための最適条件学習法を提案する。
多様な意味概念によってもたらされる相補的な情報は、興味の源泉を乱して分離するのに大いに役立ちます。
論文 参考訳（メタデータ） (2022-11-11T00:04:55Z) - Model ensemble instead of prompt fusion: a sample-specific knowledge
transfer method for few-shot prompt tuning [85.55727213502402]
我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。
我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。
SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
論文 参考訳（メタデータ） (2022-10-23T01:33:16Z) - Unsupervised Multi-source Domain Adaptation Without Access to Source
Data [58.551861130011886]
Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインから知識を転送することで、ラベル付きドメインの予測モデルを学ぶことを目的としている。
本稿では,ソースモデルと適切な重み付けを自動的に組み合わせ,少なくとも最良のソースモデルと同等の性能を発揮する新しい効率的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-04-05T10:45:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。