論文の概要: Generate Your Counterfactuals: Towards Controlled Counterfactual
Generation for Text
- arxiv url: http://arxiv.org/abs/2012.04698v2
- Date: Wed, 17 Mar 2021 18:24:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 17:37:38.018621
- Title: Generate Your Counterfactuals: Towards Controlled Counterfactual
Generation for Text
- Title(参考訳): 対物生成:テキストの制御された対物生成を目指して
- Authors: Nishtha Madaan, Inkit Padhi, Naveen Panwar, Diptikalyan Saha
- Abstract要約: 反実用テキストサンプルの集合を生成するためのフレームワークを提案する。
GYCは、モデルとあらゆるテキストデバイアスアルゴリズムを評価するテストケースとして機能する偽物を生成する。
- 参考スコア(独自算出の注目度): 9.486704496357602
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine Learning has seen tremendous growth recently, which has led to larger
adoption of ML systems for educational assessments, credit risk, healthcare,
employment, criminal justice, to name a few. The trustworthiness of ML and NLP
systems is a crucial aspect and requires a guarantee that the decisions they
make are fair and robust. Aligned with this, we propose a framework GYC, to
generate a set of counterfactual text samples, which are crucial for testing
these ML systems. Our main contributions include a) We introduce GYC, a
framework to generate counterfactual samples such that the generation is
plausible, diverse, goal-oriented, and effective, b) We generate counterfactual
samples, that can direct the generation towards a corresponding condition such
as named-entity tag, semantic role label, or sentiment. Our experimental
results on various domains show that GYC generates counterfactual text samples
exhibiting the above four properties. GYC generates counterfactuals that can
act as test cases to evaluate a model and any text debiasing algorithm.
- Abstract(参考訳): 機械学習は近年大きく成長しており、教育評価、信用リスク、医療、雇用、刑事司法などのためのMLシステムの普及につながっている。
MLとNLPシステムの信頼性は重要な側面であり、彼らが行う決定が公平で堅牢であることを保証する必要がある。
そこで我々は,これらのMLシステムをテストする上で重要な,対実テキストの集合を生成するためのフレームワークGYCを提案する。
主な貢献は,a) GYC, 生成が妥当で多様性があり, 目標指向であり, 有効であるような反ファクト的なサンプルを生成するフレームワークを紹介し, b) 生成を名前付きタグ, セマンティック・ロール・ラベル, 感情などの対応する条件に向けて誘導する, 反ファクト的なサンプルを生成する。
種々の領域における実験結果から,GYCは上記の4つの特性を示す対実テキストサンプルを生成することがわかった。
GYCは、モデルとあらゆるテキストデバイアスアルゴリズムを評価するテストケースとして機能する偽物を生成する。
関連論文リスト
- A Block Metropolis-Hastings Sampler for Controllable Energy-based Text
Generation [78.81021361497311]
我々は,大規模言語モデルの反復的プロンプトを通じて,各ステップにおけるシーケンス全体の書き直しを提案する新しいメトロポリス・ハスティングス(MH)サンプリング器を開発した。
対象分布からより効率的かつ正確なサンプリングが可能となり, (b) 事前に固定するのではなく, サンプリング手順により生成長を決定することが可能となった。
論文 参考訳(メタデータ) (2023-12-07T18:30:15Z) - Evaluation Metrics of Language Generation Models for Synthetic Traffic
Generation Tasks [22.629816738693254]
BLEUのような一般的なNLGメトリクスは、合成トラフィック生成(STG)の評価には適していないことを示す。
生成したトラフィックと実際のユーザテキストの分布を比較するために設計されたいくつかの指標を提案し,評価する。
論文 参考訳(メタデータ) (2023-11-21T11:26:26Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳(メタデータ) (2023-10-09T07:27:15Z) - Deliberate then Generate: Enhanced Prompting Framework for Text
Generation [70.10319005141888]
Deliberate then Generate (DTG) プロンプトフレームワークはエラー検出命令とエラーを含む可能性のある候補で構成されている。
我々は、要約、翻訳、対話など、7つのテキスト生成タスクにまたがる20以上のデータセットに関する広範な実験を行う。
本稿では,DTGが既存のプロンプト手法を一貫して上回り,複数のテキスト生成タスクにおける最先端性能を実現することを示す。
論文 参考訳(メタデータ) (2023-05-31T13:23:04Z) - MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。
一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。
本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
論文 参考訳(メタデータ) (2023-03-26T21:12:36Z) - On the Reliability and Explainability of Language Models for Program
Generation [15.569926313298337]
自動プログラム生成手法の能力と限界について検討する。
私たちは、コード変換に大きく貢献するトークンを強調するために、高度な説明可能なAIアプローチを採用しています。
解析の結果,言語モデルではコード文法や構造情報を認識できるが,入力シーケンスの変化に対するロバスト性は限られていることがわかった。
論文 参考訳(メタデータ) (2023-02-19T14:59:52Z) - On the Effectiveness of Automated Metrics for Text Generation Systems [4.661309379738428]
本稿では,不完全な自動計測や不十分な大きさのテストセットなど,不確実性の原因を取り入れた理論を提案する。
この理論には、テキスト生成システムの一連の性能を確実に区別するために必要なサンプル数を決定するなど、実用的な応用がある。
論文 参考訳(メタデータ) (2022-10-24T08:15:28Z) - TextGAIL: Generative Adversarial Imitation Learning for Text Generation [68.3579946817937]
本稿では,大規模な事前学習言語モデルを用いて,より信頼性の高い報酬ガイダンスを提供するテキスト生成のための生成逆模倣学習フレームワークを提案する。
提案手法では, テキスト生成性能の安定化と向上のために, コントラスト判別器とPPOを用いた。
論文 参考訳(メタデータ) (2020-04-07T00:24:35Z) - Self-Adversarial Learning with Comparative Discrimination for Text
Generation [111.18614166615968]
本稿では,テキスト生成におけるGANの性能向上のための,新たな自己逆学習(SAL)パラダイムを提案する。
トレーニング中、SALは、現在生成された文が以前生成されたサンプルより優れていると判断されたときにジェネレータに報酬を与える。
テキスト生成ベンチマークデータセットの実験により,提案手法は品質と多様性の両方を大幅に改善することが示された。
論文 参考訳(メタデータ) (2020-01-31T07:50:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。