論文の概要: Flexible text generation for counterfactual fairness probing

• arxiv url: http://arxiv.org/abs/2206.13757v1
• Date: Tue, 28 Jun 2022 05:07:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-02 14:18:22.925406
• Title: Flexible text generation for counterfactual fairness probing
• Title（参考訳）: 対物フェアネス探索のためのフレキシブルテキスト生成
• Authors: Zee Fryer, Vera Axelrod, Ben Packer, Alex Beutel, Jilin Chen, Kellie Webster
• Abstract要約: テキストベースの分類器における公平性問題をテストする一般的なアプローチは、偽造品の使用である。 既存の偽物生成方法はワードリストやテンプレートに依存しており、文法や文脈、微妙な属性参照を考慮していない単純な偽物を生成する。 本稿では,これらの欠点を克服し,大規模言語モデル(LLM)をいかに活用してその課題を進展させるかを示す。
• 参考スコア（独自算出の注目度）: 8.262741696221143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A common approach for testing fairness issues in text-based classifiers is through the use of counterfactuals: does the classifier output change if a sensitive attribute in the input is changed? Existing counterfactual generation methods typically rely on wordlists or templates, producing simple counterfactuals that don't take into account grammar, context, or subtle sensitive attribute references, and could miss issues that the wordlist creators had not considered. In this paper, we introduce a task for generating counterfactuals that overcomes these shortcomings, and demonstrate how large language models (LLMs) can be leveraged to make progress on this task. We show that this LLM-based method can produce complex counterfactuals that existing methods cannot, comparing the performance of various counterfactual generation methods on the Civil Comments dataset and showing their value in evaluating a toxicity classifier.
• Abstract（参考訳）: テキストベースの分類器における公平性問題をテストするための一般的なアプローチは、偽物の使用である:入力の機密属性が変更された場合、分類器の出力は変更されるか? 既存の偽物生成メソッドは通常、wordlistやテンプレートに依存し、文法やコンテキスト、微妙な繊細な属性参照を考慮しない単純な偽物を生成し、wordlistの作者が考慮していなかった問題を見逃す可能性がある。 本稿では,これらの欠点を克服する反事実を生成するタスクを紹介し,このタスクの進展にいかに大きな言語モデル(llm)を活用できるかを示す。 本手法は, 既存の手法ではできないような複雑な反事実を生成できることを示し, 市民コメントデータセット上での様々な反事実生成手法の性能を比較し, 毒性分類器の評価におけるそれらの価値を示す。

関連論文リスト

• Learning Context-aware Classifier for Semantic Segmentation [88.88198210948426]
  本稿では,文脈認識型分類器の学習を通じて文脈ヒントを利用する。 本手法はモデルに依存しないため,ジェネリックセグメンテーションモデルにも容易に適用できる。 無視できる追加パラメータと+2%の推論時間だけで、小型モデルと大型モデルの両方で十分な性能向上が達成されている。
  論文  参考訳（メタデータ） (2023-03-21T07:00:35Z)
• Human-Guided Fair Classification for Natural Language Processing [9.652938946631735]
  本稿では、教師なしスタイル転送とGPT-3のゼロショット機能を利用して、意味論的に類似した文を生成する方法を示す。 これらのペアの多くは、毒性分類の文脈における公正性に関する人間の直感と一致していることを確認した。
  論文  参考訳（メタデータ） (2022-12-20T10:46:40Z)
• Explaining Image Classifiers Using Contrastive Counterfactuals in Generative Latent Spaces [12.514483749037998]
  本稿では,画像分類器の因果的かつ解釈可能な反事実的説明を生成する新しい手法を提案する。 我々は、ブラックボックス分類器のグローバルな説明として、コントラスト的かつ因果的満足度と必要性スコアを得るために、このフレームワークを使用します。
  論文  参考訳（メタデータ） (2022-06-10T17:54:46Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)
• Comparing Text Representations: A Theory-Driven Approach [2.893558866535708]
  我々は、テキストデータセットの特定の特徴に適合するように、計算学習理論から一般的なツールを適応させる。 本稿では,表現とタスクの整合性を評価する手法を提案する。 この方法は、分類に基づくNLPタスクの難易度を校正し、定量的に測定する。
  論文  参考訳（メタデータ） (2021-09-15T17:48:19Z)
• Experiments with adversarial attacks on text genres [0.0]
  BERTやXLM-RoBERTaのような事前学習されたトランスフォーマーに基づくニューラルモデルは、多くのNLPタスクにおいてSOTA結果を示す。 そこで本研究では,最も重要な単語のいくつかを類似した単語に置き換えることができる埋め込み型アルゴリズムが,モデル予測にかなりの割合で影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:37:59Z)
• Evaluating Factuality in Generation with Dependency-level Entailment [57.5316011554622]
  本稿では,依存弧のレベルで分解するエンテーメントの新たな定式化を提案する。 このデータに基づいて訓練された依存関係弧包含モデルにより,文レベルの手法よりもパラフレーズ化や要約における現実的不整合を識別できることが示されている。
  論文  参考訳（メタデータ） (2020-10-12T06:43:10Z)
• Contextualized Perturbation for Textual Adversarial Attack [56.370304308573274]
  逆例は自然言語処理(NLP)モデルの脆弱性を明らかにする。 本稿では,フロートおよび文法的出力を生成するContextualized AdversaRial Example生成モデルであるCLAREを提案する。
  論文  参考訳（メタデータ） (2020-09-16T06:53:15Z)
• Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
  本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。 我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。 特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T23:58:03Z)
• Don't Judge an Object by Its Context: Learning to Overcome Contextual Bias [113.44471186752018]
  既存のモデルは、認識精度を向上させるために、オブジェクトとそのコンテキスト間の共起を利用することが多い。 この研究は、学習した特徴表現の堅牢性を改善するために、そのような文脈バイアスに対処することに焦点を当てている。
  論文  参考訳（メタデータ） (2020-01-09T18:31:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。