論文の概要: Improved Text Classification via Test-Time Augmentation
- arxiv url: http://arxiv.org/abs/2206.13607v1
- Date: Mon, 27 Jun 2022 19:57:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-02 20:59:28.013377
- Title: Improved Text Classification via Test-Time Augmentation
- Title(参考訳): テスト時間拡張によるテキスト分類の改善
- Authors: Helen Lu, Divya Shanmugam, Harini Suresh, John Guttag
- Abstract要約: テスト時間拡張は画像分類モデルの性能を向上させるための確立された手法である。
本稿では,言語モデルによる精度向上を実現するための拡張ポリシーを提案する。
バイナリ分類タスクとデータセットによる実験は、テスト時間拡張が一貫した改善をもたらすことを示している。
- 参考スコア(独自算出の注目度): 2.493374942115722
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test-time augmentation -- the aggregation of predictions across transformed
examples of test inputs -- is an established technique to improve the
performance of image classification models. Importantly, TTA can be used to
improve model performance post-hoc, without additional training. Although
test-time augmentation (TTA) can be applied to any data modality, it has seen
limited adoption in NLP due in part to the difficulty of identifying
label-preserving transformations. In this paper, we present augmentation
policies that yield significant accuracy improvements with language models. A
key finding is that augmentation policy design -- for instance, the number of
samples generated from a single, non-deterministic augmentation -- has a
considerable impact on the benefit of TTA. Experiments across a binary
classification task and dataset show that test-time augmentation can deliver
consistent improvements over current state-of-the-art approaches.
- Abstract(参考訳): テスト時間拡張 -- 変換されたテスト入力の例にまたがる予測の集約 - は、画像分類モデルの性能を改善するための確立された技術である。
重要な点として、TTAは追加のトレーニングなしでモデルパフォーマンスを改善するために使用することができる。
TTA(Test-time augmentation)は任意のデータモダリティに適用できるが、ラベル保存変換の特定が困難であることから、NLPでは限定的に採用されている。
本稿では,言語モデルにおいて大幅に精度が向上する拡張ポリシーを提案する。
重要な発見は、拡張ポリシー設計 -- 例えば、単一の非決定論的拡張から生成されたサンプルの数 -- が、TTAの利益に大きな影響を与えることである。
バイナリ分類タスクとデータセットによる実験は、テスト時間拡張が現在の最先端アプローチよりも一貫した改善をもたらすことを示している。
関連論文リスト
- TEA: Test-time Energy Adaptation [67.4574269851666]
テスト時間適応(TTA)は、テストデータがトレーニング分布から分岐する際のモデル一般化性を改善することを目的としている。
本稿では,対象データ分布に対するモデルによる認識を高めるための,新しいエネルギーベース視点を提案する。
論文 参考訳(メタデータ) (2023-11-24T10:49:49Z) - Improving Entropy-Based Test-Time Adaptation from a Clustering View [16.55816127931124]
本稿では,クラスタリングの観点からこれらの手法を解釈するEntropy-based TTAについて紹介する。
この解釈に基づいて,エントロピー損失が最大確率をさらに増大させることを示す。
上記の問題を緩和するために,ロバストなラベル割り当て,重み調整,勾配蓄積を提案する。
論文 参考訳(メタデータ) (2023-10-31T10:10:48Z) - Diverse Data Augmentation with Diffusions for Effective Test-time Prompt
Tuning [73.75282761503581]
DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。
DiffTPTがゼロショット精度を平均5.13%向上することを示す。
論文 参考訳(メタデータ) (2023-08-11T09:36:31Z) - RDumb: A simple approach that questions our progress in continual
test-time adaptation [11.538463383075694]
テスト時間適応(TTA)では、事前トレーニングされたモデルをデプロイ時にデータ配布を変更するように更新することができる。
近年の長期にわたる連続的適応手法の提案と適用方法が提案されている。
最終的には、最先端の1つのメソッド以外はすべて崩壊し、非適応モデルよりもパフォーマンスが悪くなることに気付きました。
論文 参考訳(メタデータ) (2023-06-08T17:52:34Z) - Improved Test-Time Adaptation for Domain Generalization [48.239665441875374]
テストタイムトレーニング(TTT)は、学習したモデルにテストデータを適用する。
この作業は2つの主な要因に対処する: テストフェーズ中にアップデートする信頼性のあるパラメータを更新および識別するための適切な補助的TTTタスクを選択する。
トレーニングされたモデルに適応パラメータを追加し、テストフェーズでのみ適応パラメータを更新することを提案する。
論文 参考訳(メタデータ) (2023-04-10T10:12:38Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。
このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-03-27T16:32:21Z) - AugGPT: Leveraging ChatGPT for Text Data Augmentation [59.76140039943385]
本稿では,ChatGPT(AugGPT)に基づくテキストデータ拡張手法を提案する。
AugGPTはトレーニングサンプルの各文を、概念的には似ているが意味的に異なる複数のサンプルに言い換える。
数ショットの学習テキスト分類タスクの実験結果は、提案したAugGPTアプローチの優れた性能を示している。
論文 参考訳(メタデータ) (2023-02-25T06:58:16Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳(メタデータ) (2022-04-06T06:39:40Z) - Listen, Adapt, Better WER: Source-free Single-utterance Test-time
Adaptation for Automatic Speech Recognition [65.84978547406753]
Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。
単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
論文 参考訳(メタデータ) (2022-03-27T06:38:39Z) - Learning Loss for Test-Time Augmentation [25.739449801033846]
本稿では,テスト入力に適した変換を効率的に選択できる新しいインスタンスレベルのテスト時間拡張を提案する。
いくつかの画像分類ベンチマークによる実験結果から,提案したインスタンス認識テスト時拡張により,様々な汚損に対するモデルの堅牢性が向上することが示された。
論文 参考訳(メタデータ) (2020-10-22T03:56:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。