論文の概要: Plug and Play Counterfactual Text Generation for Model Robustness
- arxiv url: http://arxiv.org/abs/2206.10429v1
- Date: Tue, 21 Jun 2022 14:25:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 14:05:00.284511
- Title: Plug and Play Counterfactual Text Generation for Model Robustness
- Title(参考訳): モデルロバストネスのためのプラグアンドプレイテキスト生成
- Authors: Nishtha Madaan, Srikanta Bedathur, Diptikalyan Saha
- Abstract要約: CASPerは、プラグアンドプレイのデファクト生成フレームワークである。
本稿では,CASPerが属性モデルによって提供されるステアリングに追従する反ファクトテキストを効果的に生成することを示す。
また,生成したデファクトをトレーニングデータの拡張に使用することにより,テストモデルをより堅牢にすることができることを示す。
- 参考スコア(独自算出の注目度): 12.517365153658028
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating counterfactual test-cases is an important backbone for testing NLP
models and making them as robust and reliable as traditional software. In
generating the test-cases, a desired property is the ability to control the
test-case generation in a flexible manner to test for a large variety of
failure cases and to explain and repair them in a targeted manner. In this
direction, significant progress has been made in the prior works by manually
writing rules for generating controlled counterfactuals. However, this approach
requires heavy manual supervision and lacks the flexibility to easily introduce
new controls. Motivated by the impressive flexibility of the plug-and-play
approach of PPLM, we propose bringing the framework of plug-and-play to
counterfactual test case generation task. We introduce CASPer, a plug-and-play
counterfactual generation framework to generate test cases that satisfy goal
attributes on demand. Our plug-and-play model can steer the test case
generation process given any attribute model without requiring
attribute-specific training of the model. In experiments, we show that CASPer
effectively generates counterfactual text that follow the steering provided by
an attribute model while also being fluent, diverse and preserving the original
content. We also show that the generated counterfactuals from CASPer can be
used for augmenting the training data and thereby fixing and making the test
model more robust.
- Abstract(参考訳): カウンターファクトなテストケースの生成は、NLPモデルをテストし、従来のソフトウェアと同じくらい堅牢で信頼性の高いものにするための重要なバックボーンである。
テストケースの生成において、望ましい特性は、テストケースの生成を柔軟な方法で制御し、さまざまな障害ケースをテストし、ターゲットとした方法でそれらを説明および修復する能力である。
この方向では、制御された偽物を生成するためのルールを手作業で記述することで、従来の作業において大きな進歩を遂げている。
しかし、このアプローチには重い手動の監督が必要であり、新しいコントロールを簡単に導入する柔軟性が欠けている。
PPLMのプラグ・アンド・プレイ・アプローチの目覚ましい柔軟性に感銘を受けた我々は,プラグ・アンド・プレイの枠組みを実証テストケース生成タスクに導入することを提案する。
CASPerは、需要に応じてゴール属性を満たすテストケースを生成するための、プラグアンドプレイの偽物生成フレームワークである。
我々のプラグアンドプレイモデルは、属性固有のモデルのトレーニングを必要とせずに、どんな属性モデルであってもテストケース生成プロセスを操ることができる。
実験では,CASPerは,属性モデルによって提供される操作に追従する反事実テキストを効果的に生成し,かつ,流動的で多様性があり,オリジナルコンテンツを保存していることを示す。
また,casperから生成された反事実をトレーニングデータの強化に利用することで,テストモデルをより堅牢に修正・修正できることを示した。
関連論文リスト
- TDD Without Tears: Towards Test Case Generation from Requirements
through Deep Reinforcement Learning [22.331330777536046]
テスト駆動開発(TDD)は、実際のコードを書く前に要件に基づいてテストケースを書くことを義務付ける。
テストケースを書くことはTDDの中心ですが、時間がかかり、コストがかかり、開発者が悩まされることも少なくありません。
PyTesterは、テキストからテストケースを生成するアプローチで、正しい、実行可能な、完全な、効果的なテストケースを自動的に生成します。
論文 参考訳(メタデータ) (2024-01-15T10:21:58Z) - Test Generation Strategies for Building Failure Models and Explaining
Spurious Failures [4.995172162560306]
テスト入力は、テスト対象のシステムが故障している場合だけでなく、入力が無効または非現実的である場合も失敗する。
テストインプットに対して解釈可能なルールを推論し,重大な障害を引き起こす障害モデルを構築することを提案する。
提案手法は, 平均精度83%の故障モデルを生成する。
論文 参考訳(メタデータ) (2023-12-09T18:36:15Z) - A General Verification Framework for Dynamical and Control Models via
Certificate Synthesis [60.03938402120854]
システム仕様を符号化し、対応する証明書を定義するためのフレームワークを提供する。
コントローラと証明書を形式的に合成する自動化手法を提案する。
我々のアプローチは、ニューラルネットワークの柔軟性を利用して、制御のための安全な学習の幅広い分野に寄与する。
論文 参考訳(メタデータ) (2023-09-12T09:37:26Z) - Focused Prefix Tuning for Controllable Text Generation [19.88484696133778]
この問題を緩和し、制御者が所望の属性にフォーカスできるようにするために、FPT( Focus prefix tuning)を提案する。
実験結果から,FPTは単一属性制御タスクにおけるベースラインモデルよりも制御精度とテキスト流速を向上できることが示された。
論文 参考訳(メタデータ) (2023-06-01T06:00:43Z) - A Data-Driven Modeling and Control Framework for Physics-Based Building
Emulators [59.821144959060305]
物理に基づく建築エミュレータのためのデータ駆動モデリングおよび制御フレームワークを提案する。
a)モデル評価を高速化し、安価な勾配を提供し、モデル予測制御(MPC)の後退地平線に対して良好な予測精度を有する、微分可能な代理モデルのオフライントレーニング。
BOPTEST(Building Optimization Testing Framework)において、複数のサロゲートモデルと異なるテストケースに対する最適化フレームワークを用いて、モデリングおよび制御性能を広範囲に検証する。
論文 参考訳(メタデータ) (2023-01-31T06:55:19Z) - Learning to Increase the Power of Conditional Randomization Tests [8.883733362171032]
モデル-X条件ランダム化テストは、条件独立性テストのための一般的なフレームワークである。
本稿では,モデルXテストのパワー向上を目的とした新しいモデル適合方式を提案する。
論文 参考訳(メタデータ) (2022-07-03T12:29:25Z) - Controllable Text Generation with Neurally-Decomposed Oracle [91.18959622763055]
我々はNeurAlly-Decomposed Oracle (NADO) を用いた自動回帰生成モデルを制御するフレームワークを提案する。
制御可能な生成のためのベースモデルにトークンレベルのガイダンスを組み込むためのクローズドフォーム最適解を提案する。
論文 参考訳(メタデータ) (2022-05-27T20:17:53Z) - TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。
ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
論文 参考訳(メタデータ) (2022-05-18T05:43:06Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳(メタデータ) (2022-04-06T06:39:40Z) - MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文 参考訳(メタデータ) (2021-10-18T17:55:11Z) - CAT-Gen: Improving Robustness in NLP Models via Controlled Adversarial
Text Generation [20.27052525082402]
本稿では,制御可能な属性による逆テキストを生成する制御付き逆テキスト生成(CAT-Gen)モデルを提案する。
実世界のNLPデータセットを用いた実験により,本手法はより多種多様な逆数文を生成することができることが示された。
論文 参考訳(メタデータ) (2020-10-05T21:07:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。