論文の概要: Robust Question Answering against Distribution Shifts with Test-Time
Adaptation: An Empirical Study
- arxiv url: http://arxiv.org/abs/2302.04618v1
- Date: Thu, 9 Feb 2023 13:10:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-10 15:54:25.949363
- Title: Robust Question Answering against Distribution Shifts with Test-Time
Adaptation: An Empirical Study
- Title（参考訳）: テスト時間適応による分布変化に対するロバストな質問--実証的研究
- Authors: Hai Ye, Yuyang Ding, Juntao Li, Hwee Tou Ng
- Abstract要約: テストデータがトレーニングデータと比較して分布シフトがある場合、デプロイされた質問応答(QA)モデルは容易に失敗する。
デプロイ後のモデルを改善するために,テスト時間適応(TTA)を評価した。
また,オンライン模倣学習(OIL)と呼ばれる新しいTTA手法を提案する。
- 参考スコア（独自算出の注目度）: 24.34217596145152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A deployed question answering (QA) model can easily fail when the test data
has a distribution shift compared to the training data. Robustness tuning (RT)
methods have been widely studied to enhance model robustness against
distribution shifts before model deployment. However, can we improve a model
after deployment? To answer this question, we evaluate test-time adaptation
(TTA) to improve a model after deployment. We first introduce COLDQA, a unified
evaluation benchmark for robust QA against text corruption and changes in
language and domain. We then evaluate previous TTA methods on COLDQA and
compare them to RT methods. We also propose a novel TTA method called online
imitation learning (OIL). Through extensive experiments, we find that TTA is
comparable to RT methods, and applying TTA after RT can significantly boost the
performance on COLDQA. Our proposed OIL improves TTA to be more robust to
variation in hyper-parameters and test distributions over time.
- Abstract（参考訳）: テストデータがトレーニングデータと比較して分布シフトがある場合、デプロイされた質問応答(QA)モデルは容易に失敗する。
ロバストネスチューニング(RT)法は, モデル展開前の分散シフトに対するモデル堅牢性を高めるために広く研究されている。
しかし、デプロイ後にモデルを改善することはできるだろうか?
この質問に答えるために,テスト時間適応(TTA)を評価し,デプロイ後のモデルを改善する。
まず、テキストの破損や言語やドメインの変更に対する堅牢なQAのための統一評価ベンチマークであるCOLDQAを紹介する。
次に, COLDQAにおける従来のTTA手法を評価し, RT法と比較する。
また,オンライン模倣学習(OIL)と呼ばれる新しいTTA手法を提案する。
広範な実験により、TTAはRT法と同等であり、RT後にTTAを適用することでCOLDQAの性能を大幅に向上できることがわかった。
提案する石油は,ハイパーパラメータやテスト分布の変動に対して,ttaをより頑健に改善する。
関連論文リスト
- BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
本稿では,テスト時間適応フレームワークを提案する。
我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。
理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
論文 参考訳（メタデータ） (2024-10-20T15:58:43Z) - DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。
単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。
Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
論文 参考訳（メタデータ） (2024-09-28T15:03:28Z) - Persistent Test-time Adaptation in Recurring Testing Scenarios [12.024233973321756]
現在のテスト時間適応(TTA)アプローチは、継続的に変化する環境に機械学習モデルを適用することを目的としている。
しかし,TTA法が長期にわたって適応性を維持することができるかどうかは不明である。
本稿では,モデルが崩壊に向かって変動していることを検知し,適応戦略を調整する永続的TTA(PeTTA)を提案する。
論文 参考訳（メタデータ） (2023-11-30T02:24:44Z) - Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。
提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
論文 参考訳（メタデータ） (2023-04-25T12:29:22Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。
このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-03-27T16:32:21Z) - Robust Test-Time Adaptation in Dynamic Scenarios [9.475271284789969]
テスト時適応(TTA)は、未ラベルのテストデータストリームのみを用いて、事前訓練されたモデルを分散をテストすることを目的としている。
PTTAの複雑なデータストリームに対してロバストテスト時間適応法(RoTTA)を精査する。
私たちのメソッドは実装が簡単で、迅速なデプロイメントに適しています。
論文 参考訳（メタデータ） (2023-03-24T10:19:14Z) - Towards Stable Test-Time Adaptation in Dynamic Wild World [60.98073673220025]
テスト時間適応(TTA)は、与えられたモデルをテストサンプルに適応させることで、トレーニングとテストデータの分散シフトに取り組むのに有効であることが示されている。
TTAのオンラインモデル更新は不安定であり、これはしばしば既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。
論文 参考訳（メタデータ） (2023-02-24T02:03:41Z) - A Probabilistic Framework for Lifelong Test-Time Adaptation [34.07074915005366]
テスト時間適応(TTA)は、異なるターゲットドメインから与えられたテスト入力(s)の推測時間で事前訓練されたソースモデルを更新する問題である。
PETAL(Probabilistic lifElong Test-time Adaptation with seLf-training prior)は,確率的アプローチを用いて生涯TTAを解決する。
本手法は, 様々なベンチマークにおいて, オンライン・ライフタイム・テスト・タイム・アダプティブの最先端技術よりも優れた結果が得られる。
論文 参考訳（メタデータ） (2022-12-19T18:42:19Z) - Robust Continual Test-time Adaptation: Instance-aware BN and
Prediction-balanced Memory [58.72445309519892]
テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。
a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
論文 参考訳（メタデータ） (2022-08-10T03:05:46Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳（メタデータ） (2022-04-06T06:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。