論文の概要: AutoBiasTest: Controllable Sentence Generation for Automated and Open-Ended Social Bias Testing in Language Models

• arxiv url: http://arxiv.org/abs/2302.07371v1
• Date: Tue, 14 Feb 2023 22:07:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-16 16:18:30.561425
• Title: AutoBiasTest: Controllable Sentence Generation for Automated and Open-Ended Social Bias Testing in Language Models
• Title（参考訳）: AutoBiasTest: 言語モデルにおける自動かつオープンなソーシャルバイアステストのための制御可能な文生成
• Authors: Rafal Kocielnik, Shrimai Prabhumoye, Vivian Zhang, R. Michael Alvarez, Anima Anandkumar
• Abstract要約: プレトレーニング言語モデル(PLM)における社会的バイアスは、テキスト生成やその他の下流のNLPタスクに影響を与える。 本稿では, PLM のバイアステストのための文を自動的に生成する AutoBiasTest 手法を提案する。 生成した文は自然であり、単語の長さと多様性の点で人為的内容に類似していることを示す。
• 参考スコア（独自算出の注目度）: 62.191555864193475
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Social bias in Pretrained Language Models (PLMs) affects text generation and other downstream NLP tasks. Existing bias testing methods rely predominantly on manual templates or on expensive crowd-sourced data. We propose a novel AutoBiasTest method that automatically generates sentences for testing bias in PLMs, hence providing a flexible and low-cost alternative. Our approach uses another PLM for generation and controls the generation of sentences by conditioning on social group and attribute terms. We show that generated sentences are natural and similar to human-produced content in terms of word length and diversity. We illustrate that larger models used for generation produce estimates of social bias with lower variance. We find that our bias scores are well correlated with manual templates, but AutoBiasTest highlights biases not captured by these templates due to more diverse and realistic test sentences. By automating large-scale test sentence generation, we enable better estimation of underlying bias distributions
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)における社会的バイアスは、テキスト生成やその他の下流NLPタスクに影響を与える。 既存のバイアステスト手法は主に手動のテンプレートや高価なクラウドソースデータに依存している。 本稿では, PLM のバイアステストのための文を自動的に生成する AutoBiasTest 手法を提案する。 本手法では,別のplmを生成に用い,社会的グループと属性項の条件付けによって文の生成を制御する。 単語の長さや多様性の観点から,生成文は自然であり,人間の生成内容と類似していることを示す。 生成に使用されるより大きなモデルが、より低い分散を伴う社会的偏見の推定を生成することを示す。 バイアススコアは手動のテンプレートとよく関連していますが、autobiastestはより多様で現実的なテスト文のため、これらのテンプレートでは捉えられていないバイアスを強調しています。 大規模テスト文の自動生成により、基礎となるバイアス分布のより良い推定を可能にする

関連論文リスト

• Unveiling Assumptions: Exploring the Decisions of AI Chatbots and Human Testers [2.5327705116230477]
  意思決定は、コード、要求仕様、その他のソフトウェアアーティファクトなど、さまざまな情報に依存します。 不明瞭な情報によって残されたギャップを埋めるために、私たちはしばしば、前提や直観、あるいは以前の経験に頼って意思決定をします。
  論文  参考訳（メタデータ） (2024-06-17T08:55:56Z)
• Protecting Copyrighted Material with Unique Identifiers in Large Language Model Training [55.321010757641524]
  大きな言語モデル(LLM)のトレーニングに関する主要な公的な懸念は、著作権のあるオンラインテキストを悪用するかどうかである。 事前の会員推定法は、大量のトレーニングデータに類似した例によって誤解されることがある。 本稿では,Webユーザとコンテンツプラットフォームがtextbftextitunique 識別子を使用することを推奨する代替のtextitinsert-and-detection 手法を提案する。
  論文  参考訳（メタデータ） (2024-03-23T06:36:32Z)
• SocialStigmaQA: A Benchmark to Uncover Stigma Amplification in Generative Language Models [8.211129045180636]
  我々は、生成言語モデルにおいて、シュティグマを通して、社会的偏見の増幅を捉えるためのベンチマークを導入する。 私たちのベンチマークであるSocialStigmaQAには、ソーシャルバイアスとモデル堅牢性の両方をテストするために慎重に構築された、さまざまなプロンプトスタイルの約10Kプロンプトが含まれています。 社会的に偏りのあるアウトプットの割合は、様々なデコード戦略やスタイルにまたがって45%から59%の範囲であることがわかった。
  論文  参考訳（メタデータ） (2023-12-12T18:27:44Z)
• No More Manual Tests? Evaluating and Improving ChatGPT for Unit Test Generation [11.009117714870527]
  単体テストは、機能的に分離されたプログラムユニットのバグを検出するのに不可欠である。 最近の研究は、ユニットテスト生成における大きな言語モデル(LLM)の可能性を示している。 ChatGPTがユニット・テスト・ジェネレーションでどの程度有効かは不明だ。
  論文  参考訳（メタデータ） (2023-05-07T07:17:08Z)
• SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models [55.60306377044225]
  「SelfCheckGPT」は、ブラックボックスモデルの応答をファクトチェックする単純なサンプリングベースアプローチである。 本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
  論文  参考訳（メタデータ） (2023-03-15T19:31:21Z)
• Can ChatGPT Assess Human Personalities? A General Evaluation Framework [70.90142717649785]
  大きな言語モデル(LLM)は、様々な分野で印象的な成果を上げてきたが、その潜在的な人間のような心理学はいまだに研究されていない。 本稿では,Mers Briggs Type Indicator (MBTI) テストに基づく人格評価のための総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:14Z)
• The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks [75.58692290694452]
  社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。 これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
  論文  参考訳（メタデータ） (2022-10-18T17:58:39Z)
• COFFEE: Counterfactual Fairness for Personalized Text Generation in Explainable Recommendation [56.520470678876656]
  ユーザ記述テキストに固有のバイアスは、言語品質の異なるレベルとユーザの保護された属性を関連付けることができる。 説明生成における測度特異的な対実的公正性を実現するための一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-14T02:29:10Z)
• SODAPOP: Open-Ended Discovery of Social Biases in Social Commonsense Reasoning Models [22.13138599547492]
  SODAPOP (Social bias Discovery from Answers about PeOPle) を提案する。 ソーシャル・コモンセンス・モデルを用いて、生成された気晴らしをスコアリングすることで、人口動態群とオープンな単語群の間のステレオタイプ的関連を明らかにすることができる。 また、脱バイアスモデル上でSODAPOPをテストし、複数の最先端脱バイアスアルゴリズムの限界を示す。
  論文  参考訳（メタデータ） (2022-10-13T18:04:48Z)
• Identifying and Measuring Token-Level Sentiment Bias in Pre-trained Language Models with Prompts [7.510757198308537]
  大規模事前訓練言語モデル(PLM)は、社会の多くの側面において広く採用されている。 近年のプロンプトチューニングの進歩は, PLMの内部機構を探求する可能性を示している。 我々は2つのトークンレベル感情テストを提案する: 感性アソシエーションテスト(SAT)と感性シフトテスト(SST)。
  論文  参考訳（メタデータ） (2022-04-15T02:01:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。