論文の概要: Plug and Play Counterfactual Text Generation for Model Robustness
- arxiv url: http://arxiv.org/abs/2206.10429v1
- Date: Tue, 21 Jun 2022 14:25:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 14:05:00.284511
- Title: Plug and Play Counterfactual Text Generation for Model Robustness
- Title（参考訳）: モデルロバストネスのためのプラグアンドプレイテキスト生成
- Authors: Nishtha Madaan, Srikanta Bedathur, Diptikalyan Saha
- Abstract要約: CASPerは、プラグアンドプレイのデファクト生成フレームワークである。
本稿では,CASPerが属性モデルによって提供されるステアリングに追従する反ファクトテキストを効果的に生成することを示す。
また,生成したデファクトをトレーニングデータの拡張に使用することにより,テストモデルをより堅牢にすることができることを示す。
- 参考スコア（独自算出の注目度）: 12.517365153658028
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating counterfactual test-cases is an important backbone for testing NLP
models and making them as robust and reliable as traditional software. In
generating the test-cases, a desired property is the ability to control the
test-case generation in a flexible manner to test for a large variety of
failure cases and to explain and repair them in a targeted manner. In this
direction, significant progress has been made in the prior works by manually
writing rules for generating controlled counterfactuals. However, this approach
requires heavy manual supervision and lacks the flexibility to easily introduce
new controls. Motivated by the impressive flexibility of the plug-and-play
approach of PPLM, we propose bringing the framework of plug-and-play to
counterfactual test case generation task. We introduce CASPer, a plug-and-play
counterfactual generation framework to generate test cases that satisfy goal
attributes on demand. Our plug-and-play model can steer the test case
generation process given any attribute model without requiring
attribute-specific training of the model. In experiments, we show that CASPer
effectively generates counterfactual text that follow the steering provided by
an attribute model while also being fluent, diverse and preserving the original
content. We also show that the generated counterfactuals from CASPer can be
used for augmenting the training data and thereby fixing and making the test
model more robust.
- Abstract（参考訳）: カウンターファクトなテストケースの生成は、NLPモデルをテストし、従来のソフトウェアと同じくらい堅牢で信頼性の高いものにするための重要なバックボーンである。
テストケースの生成において、望ましい特性は、テストケースの生成を柔軟な方法で制御し、さまざまな障害ケースをテストし、ターゲットとした方法でそれらを説明および修復する能力である。
この方向では、制御された偽物を生成するためのルールを手作業で記述することで、従来の作業において大きな進歩を遂げている。
しかし、このアプローチには重い手動の監督が必要であり、新しいコントロールを簡単に導入する柔軟性が欠けている。
PPLMのプラグ・アンド・プレイ・アプローチの目覚ましい柔軟性に感銘を受けた我々は,プラグ・アンド・プレイの枠組みを実証テストケース生成タスクに導入することを提案する。
CASPerは、需要に応じてゴール属性を満たすテストケースを生成するための、プラグアンドプレイの偽物生成フレームワークである。
我々のプラグアンドプレイモデルは、属性固有のモデルのトレーニングを必要とせずに、どんな属性モデルであってもテストケース生成プロセスを操ることができる。
実験では,CASPerは,属性モデルによって提供される操作に追従する反事実テキストを効果的に生成し,かつ,流動的で多様性があり,オリジナルコンテンツを保存していることを示す。
また,casperから生成された反事実をトレーニングデータの強化に利用することで,テストモデルをより堅牢に修正・修正できることを示した。
関連論文リスト
- CAR: Controllable Autoregressive Modeling for Visual Generation [100.33455832783416]
Controllable AutoRegressive Modeling (CAR)は、条件制御をマルチスケールの潜在変数モデリングに統合する新しいプラグイン・アンド・プレイフレームワークである。
CARは、制御表現を徐々に洗練し、キャプチャし、前訓練されたモデルの各自己回帰ステップに注入して生成プロセスを導く。
提案手法は,様々な条件にまたがって優れた制御性を示し,従来の手法に比べて画質の向上を実現している。
論文 参考訳（メタデータ） (2024-10-07T00:55:42Z) - SYNTHEVAL: Hybrid Behavioral Testing of NLP Models with Synthetic CheckLists [59.08999823652293]
我々は,NLPモデルの包括的評価のために,SyntheVALを提案する。
最後の段階では、人間の専門家が困難な例を調査し、手動でテンプレートを設計し、タスク固有のモデルが一貫して示す障害の種類を特定します。
我々は、感情分析と有害言語検出という2つの分類課題にSynTHEVALを適用し、これらの課題における強力なモデルの弱点を特定するのに、我々のフレームワークが有効であることを示す。
論文 参考訳（メタデータ） (2024-08-30T17:41:30Z) - Automatic Generation of Behavioral Test Cases For Natural Language Processing Using Clustering and Prompting [6.938766764201549]
本稿では,大規模言語モデルと統計的手法の力を活用したテストケースの自動開発手法を提案する。
4つの異なる分類アルゴリズムを用いて行動テストプロファイルを分析し、それらのモデルの限界と強みについて議論する。
論文 参考訳（メタデータ） (2024-07-31T21:12:21Z) - Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。
本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。
本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
論文 参考訳（メタデータ） (2024-07-26T17:51:58Z) - Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。
テスト時間フォワード最適化適応法(FOA)を提案する。
FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
論文 参考訳（メタデータ） (2024-04-02T05:34:33Z) - Test Generation Strategies for Building Failure Models and Explaining
Spurious Failures [4.995172162560306]
テスト入力は、テスト対象のシステムが故障している場合だけでなく、入力が無効または非現実的である場合も失敗する。
テストインプットに対して解釈可能なルールを推論し,重大な障害を引き起こす障害モデルを構築することを提案する。
提案手法は, 平均精度83%の故障モデルを生成する。
論文 参考訳（メタデータ） (2023-12-09T18:36:15Z) - Focused Prefix Tuning for Controllable Text Generation [19.88484696133778]
この問題を緩和し、制御者が所望の属性にフォーカスできるようにするために、FPT( Focus prefix tuning)を提案する。
実験結果から,FPTは単一属性制御タスクにおけるベースラインモデルよりも制御精度とテキスト流速を向上できることが示された。
論文 参考訳（メタデータ） (2023-06-01T06:00:43Z) - Learning to Increase the Power of Conditional Randomization Tests [8.883733362171032]
モデル-X条件ランダム化テストは、条件独立性テストのための一般的なフレームワークである。
本稿では,モデルXテストのパワー向上を目的とした新しいモデル適合方式を提案する。
論文 参考訳（メタデータ） (2022-07-03T12:29:25Z) - TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。
ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-05-18T05:43:06Z) - MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文 参考訳（メタデータ） (2021-10-18T17:55:11Z) - CAT-Gen: Improving Robustness in NLP Models via Controlled Adversarial
Text Generation [20.27052525082402]
本稿では,制御可能な属性による逆テキストを生成する制御付き逆テキスト生成(CAT-Gen)モデルを提案する。
実世界のNLPデータセットを用いた実験により,本手法はより多種多様な逆数文を生成することができることが示された。
論文 参考訳（メタデータ） (2020-10-05T21:07:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。