論文の概要: Improved Text Classification via Test-Time Augmentation
- arxiv url: http://arxiv.org/abs/2206.13607v1
- Date: Mon, 27 Jun 2022 19:57:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-02 20:59:28.013377
- Title: Improved Text Classification via Test-Time Augmentation
- Title（参考訳）: テスト時間拡張によるテキスト分類の改善
- Authors: Helen Lu, Divya Shanmugam, Harini Suresh, John Guttag
- Abstract要約: テスト時間拡張は画像分類モデルの性能を向上させるための確立された手法である。
本稿では,言語モデルによる精度向上を実現するための拡張ポリシーを提案する。
バイナリ分類タスクとデータセットによる実験は、テスト時間拡張が一貫した改善をもたらすことを示している。
- 参考スコア（独自算出の注目度）: 2.493374942115722
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test-time augmentation -- the aggregation of predictions across transformed
examples of test inputs -- is an established technique to improve the
performance of image classification models. Importantly, TTA can be used to
improve model performance post-hoc, without additional training. Although
test-time augmentation (TTA) can be applied to any data modality, it has seen
limited adoption in NLP due in part to the difficulty of identifying
label-preserving transformations. In this paper, we present augmentation
policies that yield significant accuracy improvements with language models. A
key finding is that augmentation policy design -- for instance, the number of
samples generated from a single, non-deterministic augmentation -- has a
considerable impact on the benefit of TTA. Experiments across a binary
classification task and dataset show that test-time augmentation can deliver
consistent improvements over current state-of-the-art approaches.
- Abstract（参考訳）: テスト時間拡張 -- 変換されたテスト入力の例にまたがる予測の集約 - は、画像分類モデルの性能を改善するための確立された技術である。
重要な点として、TTAは追加のトレーニングなしでモデルパフォーマンスを改善するために使用することができる。
TTA(Test-time augmentation)は任意のデータモダリティに適用できるが、ラベル保存変換の特定が困難であることから、NLPでは限定的に採用されている。
本稿では,言語モデルにおいて大幅に精度が向上する拡張ポリシーを提案する。
重要な発見は、拡張ポリシー設計 -- 例えば、単一の非決定論的拡張から生成されたサンプルの数 -- が、TTAの利益に大きな影響を与えることである。
バイナリ分類タスクとデータセットによる実験は、テスト時間拡張が現在の最先端アプローチよりも一貫した改善をもたらすことを示している。
関連論文リスト
- Words Matter: Leveraging Individual Text Embeddings for Code Generation in CLIP Test-Time Adaptation [21.20806568508201]
テスト時推論において視覚言語モデル(VLM)が遭遇する分布ドリフトを軽減するために,クラステキスト情報を活用する方法を示す。
本稿では,ラベル割り当て問題の固定セントロイドとしてジェネリッククラステキスト埋め込みを利用して,テスト時間サンプルの擬似ラベルを生成することを提案する。
多様な複雑性を示す複数の人気のあるテスト時間適応ベンチマークの実験は、CLIP-OTの優位性を実証的に示している。
論文 参考訳（メタデータ） (2024-11-26T00:15:37Z) - Test-Time Augmentation Meets Variational Bayes [0.951494089949975]
TTA(Test-Time Augmentation)は、テストフェーズでデータ拡張を活用して堅牢な予測を実現するテクニックである。
本研究では,TTAの重み付け版について,各データ拡張の貢献に基づいて検討する。
また,限界対数類似度を最大化するための重み付けを最適化することで,テストフェーズにおける不要なデータ増大の候補を抑えることを示す。
論文 参考訳（メタデータ） (2024-09-19T09:11:01Z) - Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。
本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
論文 参考訳（メタデータ） (2024-03-18T05:49:45Z) - TEA: Test-time Energy Adaptation [67.4574269851666]
テスト時間適応(TTA)は、テストデータがトレーニング分布から分岐する際のモデル一般化性を改善することを目的としている。
本稿では,対象データ分布に対するモデルによる認識を高めるための,新しいエネルギーベース視点を提案する。
論文 参考訳（メタデータ） (2023-11-24T10:49:49Z) - Improving Entropy-Based Test-Time Adaptation from a Clustering View [15.157208389691238]
エントロピーベースのTTAについて,新たなクラスタリングの視点を導入する。
本稿では,ロバストなラベル割り当て,類似性保存制約,サンプル選択,勾配蓄積などを提案する。
実験結果から,本手法は様々なデータセットに対して一貫した改善が可能であることが示された。
論文 参考訳（メタデータ） (2023-10-31T10:10:48Z) - Diverse Data Augmentation with Diffusions for Effective Test-time Prompt
Tuning [73.75282761503581]
DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。
DiffTPTがゼロショット精度を平均5.13%向上することを示す。
論文 参考訳（メタデータ） (2023-08-11T09:36:31Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。
このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-03-27T16:32:21Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳（メタデータ） (2022-04-06T06:39:40Z) - Listen, Adapt, Better WER: Source-free Single-utterance Test-time
Adaptation for Automatic Speech Recognition [65.84978547406753]
Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。
単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
論文 参考訳（メタデータ） (2022-03-27T06:38:39Z) - Learning Loss for Test-Time Augmentation [25.739449801033846]
本稿では,テスト入力に適した変換を効率的に選択できる新しいインスタンスレベルのテスト時間拡張を提案する。
いくつかの画像分類ベンチマークによる実験結果から,提案したインスタンス認識テスト時拡張により,様々な汚損に対するモデルの堅牢性が向上することが示された。
論文 参考訳（メタデータ） (2020-10-22T03:56:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。