論文の概要: Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases

• arxiv url: http://arxiv.org/abs/2112.07868v1
• Date: Wed, 15 Dec 2021 04:19:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 01:39:49.958686
• Title: Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases
• Title（参考訳）: 社会的バイアス検出のための事前訓練型言語モデルのための少数ショットインストラクションプロンプト
• Authors: Shrimai Prabhumoye, Rafal Kocielnik, Mohammad Shoeybi, Anima Anandkumar, Bryan Catanzaro
• Abstract要約: 我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
• 参考スコア（独自算出の注目度）: 55.45617404586874
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detecting social bias in text is challenging due to nuance, subjectivity, and difficulty in obtaining good quality labeled datasets at scale, especially given the evolving nature of social biases and society. To address these challenges, we propose a few-shot instruction-based method for prompting pre-trained language models (LMs). We select a few label-balanced exemplars from a small support repository that are closest to the query to be labeled in the embedding space. We then provide the LM with instruction that consists of this subset of labeled exemplars, the query text to be classified, a definition of bias, and prompt it to make a decision. We demonstrate that large LMs used in a few-shot context can detect different types of fine-grained biases with similar and sometimes superior accuracy to fine-tuned models. We observe that the largest 530B parameter model is significantly more effective in detecting social bias compared to smaller models (achieving at least 20% improvement in AUC metric compared to other models). It also maintains a high AUC (dropping less than 5%) in a few-shot setting with a labeled repository reduced to as few as 100 samples. Large pretrained language models thus make it easier and quicker to build new bias detectors.
• Abstract（参考訳）: テキスト中の社会的バイアスの検出は、ニュアンス、主観性、高品質のラベル付きデータセットの取得が困難であること、特に社会的バイアスと社会の進化性を考慮すると困難である。 これらの課題に対処するために,あらかじめ訓練された言語モデル(LM)をプロンプトする数ショットの命令ベース手法を提案する。 埋め込みスペースでラベル付けされるクエリに最も近い小さなサポートリポジトリからラベルバランスのよい例をいくつか選択する。 次に、ラベル付き例のこのサブセット、分類すべきクエリテキスト、バイアスの定義からなる命令をLMに提供し、意思決定を促す。 数発の文脈で使用される大きなlmsは、微粒度モデルとよく似た、時には優れた精度で、異なる種類の微粒度バイアスを検出できることを実証する。 最大530Bパラメータモデルは、より小さなモデルに比べて社会的バイアスを検出するのに著しく効果的である(他のモデルと比較して、AUCメトリックは少なくとも20%改善されている)。 また、ラベル付きリポジトリを100サンプルまで削減した数ショット設定で高いAUC(ドロップ数は5%未満)を維持している。 事前訓練された大規模な言語モデルにより、新しいバイアス検出器の構築がより簡単かつ迅速に行える。

関連論文リスト

• Self-Debiasing Large Language Models: Zero-Shot Recognition and Reduction of Stereotypes [73.12947922129261]
  ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。 自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。 この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
  論文  参考訳（メタデータ） (2024-02-03T01:40:11Z)
• Improving Classification Performance With Human Feedback: Label a few, we label the rest [2.7386128680964408]
  本稿では,連続フィードバックループがモデルをどのように洗練し,精度,リコール,精度を向上させるかを理解することに焦点を当てる。 このアプローチをFinancial Phrasebank, Banking, Craigslist, Trec, Amazon Reviewsのデータセットでベンチマークし、ラベル付き例をいくつか挙げただけで、ゼロショットの大規模言語モデルの精度を上回ります。
  論文  参考訳（メタデータ） (2024-01-17T19:13:05Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Language Models in the Loop: Incorporating Prompting into Weak Supervision [11.10422546502386]
  本稿では,ラベル付きトレーニングデータに制限がある場合に,大規模事前学習言語モデルを新しいタスクに適用するための新しい戦略を提案する。 典型的にゼロショットや少数ショットの方法でモデルを適用する代わりに、弱い監督フレームワークにおける関数のラベル付けの基盤としてモデルを扱います。
  論文  参考訳（メタデータ） (2022-05-04T20:42:40Z)
• Few-Shot Self-Rationalization with Natural Language Prompts [29.23404535276466]
  タスクラベルを予測するセルフリレーゼーションモデルは、その予測のために自由テキストのエラボレートを生成する。 しかしながら、これらのモデルは、現在、タスクごとに大量の人書き自由テキスト説明で訓練されている。 少ない学習例を用いて,より現実的な自己合理化環境について検討することを提案する。
  論文  参考訳（メタデータ） (2021-11-16T08:21:40Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Identifying Wrongly Predicted Samples: A Method for Active Learning [6.976600214375139]
  本稿では,不確実性を超えた単純なサンプル選択基準を提案する。 予測されたサンプルを正しく識別するために、最先端の結果とより良いレートを示す。
  論文  参考訳（メタデータ） (2020-10-14T09:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。