論文の概要: Robust Question Answering against Distribution Shifts with Test-Time
Adaptation: An Empirical Study
- arxiv url: http://arxiv.org/abs/2302.04618v1
- Date: Thu, 9 Feb 2023 13:10:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-10 15:54:25.949363
- Title: Robust Question Answering against Distribution Shifts with Test-Time
Adaptation: An Empirical Study
- Title(参考訳): テスト時間適応による分布変化に対するロバストな質問--実証的研究
- Authors: Hai Ye, Yuyang Ding, Juntao Li, Hwee Tou Ng
- Abstract要約: テストデータがトレーニングデータと比較して分布シフトがある場合、デプロイされた質問応答(QA)モデルは容易に失敗する。
デプロイ後のモデルを改善するために,テスト時間適応(TTA)を評価した。
また,オンライン模倣学習(OIL)と呼ばれる新しいTTA手法を提案する。
- 参考スコア(独自算出の注目度): 24.34217596145152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A deployed question answering (QA) model can easily fail when the test data
has a distribution shift compared to the training data. Robustness tuning (RT)
methods have been widely studied to enhance model robustness against
distribution shifts before model deployment. However, can we improve a model
after deployment? To answer this question, we evaluate test-time adaptation
(TTA) to improve a model after deployment. We first introduce COLDQA, a unified
evaluation benchmark for robust QA against text corruption and changes in
language and domain. We then evaluate previous TTA methods on COLDQA and
compare them to RT methods. We also propose a novel TTA method called online
imitation learning (OIL). Through extensive experiments, we find that TTA is
comparable to RT methods, and applying TTA after RT can significantly boost the
performance on COLDQA. Our proposed OIL improves TTA to be more robust to
variation in hyper-parameters and test distributions over time.
- Abstract(参考訳): テストデータがトレーニングデータと比較して分布シフトがある場合、デプロイされた質問応答(QA)モデルは容易に失敗する。
ロバストネスチューニング(RT)法は, モデル展開前の分散シフトに対するモデル堅牢性を高めるために広く研究されている。
しかし、デプロイ後にモデルを改善することはできるだろうか?
この質問に答えるために,テスト時間適応(TTA)を評価し,デプロイ後のモデルを改善する。
まず、テキストの破損や言語やドメインの変更に対する堅牢なQAのための統一評価ベンチマークであるCOLDQAを紹介する。
次に, COLDQAにおける従来のTTA手法を評価し, RT法と比較する。
また,オンライン模倣学習(OIL)と呼ばれる新しいTTA手法を提案する。
広範な実験により、TTAはRT法と同等であり、RT後にTTAを適用することでCOLDQAの性能を大幅に向上できることがわかった。
提案する石油は,ハイパーパラメータやテスト分布の変動に対して,ttaをより頑健に改善する。
関連論文リスト
- Benchmarking Test-Time Adaptation against Distribution Shifts in Image
Classification [77.0114672086012]
テスト時間適応(TTA)は、予測時にのみラベルのないサンプルを活用することにより、モデルの一般化性能を向上させる技術である。
本稿では,広く使用されている5つの画像分類データセット上で,13のTTA手法とその変種を体系的に評価するベンチマークを提案する。
論文 参考訳(メタデータ) (2023-07-06T16:59:53Z) - RDumb: A simple approach that questions our progress in continual
test-time adaptation [11.538463383075694]
テスト時間適応(TTA)では、事前トレーニングされたモデルをデプロイ時にデータ配布を変更するように更新することができる。
近年の長期にわたる連続的適応手法の提案と適用方法が提案されている。
最終的には、最先端の1つのメソッド以外はすべて崩壊し、非適応モデルよりもパフォーマンスが悪くなることに気付きました。
論文 参考訳(メタデータ) (2023-06-08T17:52:34Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳(メタデータ) (2023-06-06T09:35:29Z) - Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。
提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
論文 参考訳(メタデータ) (2023-04-25T12:29:22Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。
このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-03-27T16:32:21Z) - Robust Test-Time Adaptation in Dynamic Scenarios [9.475271284789969]
テスト時適応(TTA)は、未ラベルのテストデータストリームのみを用いて、事前訓練されたモデルを分散をテストすることを目的としている。
PTTAの複雑なデータストリームに対してロバストテスト時間適応法(RoTTA)を精査する。
私たちのメソッドは実装が簡単で、迅速なデプロイメントに適しています。
論文 参考訳(メタデータ) (2023-03-24T10:19:14Z) - Towards Stable Test-Time Adaptation in Dynamic Wild World [60.98073673220025]
テスト時間適応(TTA)は、与えられたモデルをテストサンプルに適応させることで、トレーニングとテストデータの分散シフトに取り組むのに有効であることが示されている。
TTAのオンラインモデル更新は不安定であり、これはしばしば既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。
論文 参考訳(メタデータ) (2023-02-24T02:03:41Z) - A Probabilistic Framework for Lifelong Test-Time Adaptation [34.07074915005366]
テスト時間適応(TTA)は、異なるターゲットドメインから与えられたテスト入力(s)の推測時間で事前訓練されたソースモデルを更新する問題である。
PETAL(Probabilistic lifElong Test-time Adaptation with seLf-training prior)は,確率的アプローチを用いて生涯TTAを解決する。
本手法は, 様々なベンチマークにおいて, オンライン・ライフタイム・テスト・タイム・アダプティブの最先端技術よりも優れた結果が得られる。
論文 参考訳(メタデータ) (2022-12-19T18:42:19Z) - Robust Continual Test-time Adaptation: Instance-aware BN and
Prediction-balanced Memory [58.72445309519892]
テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。
a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
論文 参考訳(メタデータ) (2022-08-10T03:05:46Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳(メタデータ) (2022-04-06T06:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。