論文の概要: Taught by the Internet, Exploring Bias in OpenAIs GPT3
- arxiv url: http://arxiv.org/abs/2306.02428v1
- Date: Sun, 4 Jun 2023 18:21:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 17:46:41.903468
- Title: Taught by the Internet, Exploring Bias in OpenAIs GPT3
- Title(参考訳): OpenAIs GPT3でバイアスを探るインターネット
- Authors: Ali Ayaz, Aditya Nawalgaria, Ruilian Yin
- Abstract要約: この研究は、自然言語処理モデルにおけるバイアスに関する現在の文献と、問題を緩和するために提案された技術について考察する。
これらの目的を達成するため,本論文の著者らは,現在利用可能な最大のNLPモデルであるOpenAIによるGPT3の研究を行った。
BERTの3億4000万とは対照的に、1750億のパラメータを持つGPT3は、NLPモデルの共通の落とし穴をテストするのに最適なモデルである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This research delves into the current literature on bias in Natural Language
Processing Models and the techniques proposed to mitigate the problem of bias,
including why it is important to tackle bias in the first place. Additionally,
these techniques are further analysed in the light of newly developed models
that tower in size over past editions. To achieve those aims, the authors of
this paper conducted their research on GPT3 by OpenAI, the largest NLP model
available to consumers today. With 175 billion parameters in contrast to BERTs
340 million, GPT3 is the perfect model to test the common pitfalls of NLP
models. Tests were conducted through the development of an Applicant Tracking
System using GPT3. For the sake of feasibility and time constraints, the tests
primarily focused on gender bias, rather than all or multiple types of bias.
Finally, current mitigation techniques are considered and tested to measure
their degree of functionality.
- Abstract(参考訳): 本研究は,自然言語処理モデルにおけるバイアスに関する現在の文献と,そもそもバイアスに取り組むことが重要である理由を含めて,バイアスの問題を軽減するために提案された手法について考察する。
さらに、これらの技術は、過去の版にまたがる大きさの新型モデルに照らしてさらに分析される。
これらの目的を達成するため,本論文の著者らは,現在利用可能な最大のNLPモデルであるOpenAIによるGPT3の研究を行った。
BERTs 34000万とは対照的に、1750億のパラメータを持つGPT3は、NLPモデルの共通の落とし穴をテストするのに最適なモデルである。
GPT3を用いたアプリケーショントラッキングシステムの開発を通じてテストが行われた。
実現可能性と時間的制約のために、テストは、すべてまたは複数のタイプのバイアスではなく、主にジェンダーバイアスに焦点を当てた。
最後に、現在の緩和技術が検討され、その機能度を測定するためにテストされる。
関連論文リスト
- Projective Methods for Mitigating Gender Bias in Pre-trained Language Models [10.418595661963062]
プロジェクティブメソッドは実装が高速で、少数の保存されたパラメータを使用し、既存のモデルパラメータを更新しない。
射影法は内在バイアスと下流バイアス軽減の両方に有効であるが, 両者の結果は必ずしも相関しない。
論文 参考訳(メタデータ) (2024-03-27T17:49:31Z) - Leveraging Biases in Large Language Models: "bias-kNN'' for Effective
Few-Shot Learning [36.739829839357995]
本研究では, バイアスkNN'という新しい手法を紹介する。
このアプローチはバイアスのある出力を生かし、それらをkNNの主要な特徴として利用し、金のラベルを補足する。
多様なドメインテキスト分類データセットと異なるGPT-2モデルサイズにまたがる包括的評価は、バイアス-kNN'法の適用性と有効性を示している。
論文 参考訳(メタデータ) (2024-01-18T08:05:45Z) - SentimentGPT: Exploiting GPT for Advanced Sentiment Analysis and its
Departure from Current Machine Learning [5.177947445379688]
本研究は,感情分析における各種生成事前変換器(GPT)手法の徹底的な検討である。
1) 先進型GPT-3.5ターボを用いた迅速なエンジニアリング,2) 微調整型GPTモデル,3) 組込み分類への革新的アプローチの3つの戦略が採用されている。
この研究は、これらの戦略と個々のGPTモデルの間で詳細な比較洞察を与え、そのユニークな強みと潜在的な制限を明らかにしている。
論文 参考訳(メタデータ) (2023-07-16T05:33:35Z) - An Empirical Analysis of Parameter-Efficient Methods for Debiasing
Pre-Trained Language Models [55.14405248920852]
各種言語モデルとバイアスタイプを用いたプレフィックスチューニング,プロンプトチューニング,アダプタチューニングによる実験を行い,その性能評価を行った。
パラメータ効率のよい手法は、適応調整が常に最も効果的であるジェンダーバイアスを軽減するのに有効であることがわかった。
また、早急なチューニングは、BERTよりもGPT-2に適しており、人種的・宗教的偏見に関しては、人種的・宗教的偏見が低いことが判明した。
論文 参考訳(メタデータ) (2023-06-06T23:56:18Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳(メタデータ) (2023-06-06T09:35:29Z) - Understanding Stereotypes in Language Models: Towards Robust Measurement
and Zero-Shot Debiasing [43.22485763835496]
生成言語モデルで表現されるバイアスを頑健に測定する新しい枠組みを提案する。
我々は,この枠組みを用いて,GPT-3の職業性偏見を調査し,微調整を必要とせず,これらの偏見を緩和する手法を提案する。
論文 参考訳(メタデータ) (2022-12-20T22:41:24Z) - Prompting GPT-3 To Be Reliable [117.23966502293796]
この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。
GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-10-17T14:52:39Z) - News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。
我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
論文 参考訳(メタデータ) (2022-09-26T01:04:52Z) - An Empirical Survey of the Effectiveness of Debiasing Techniques for
Pre-Trained Language Models [4.937002982255573]
最近の研究によると、事前学習された言語モデルは、訓練されたテキストコーパスから社会的偏見を捉えている。
最近提案された5つのデバイアス技術: 対実データ拡張、ドロップアウト、イテレーティブヌルスペース投影、セルフデバイアス、センテンスデバイアス。
3つの異なるバイアスベンチマークを用いて各手法の有効性を定量化するとともに,これらの手法がモデル言語モデリング能力に与える影響を計測する。
論文 参考訳(メタデータ) (2021-10-16T09:40:30Z) - Learning from others' mistakes: Avoiding dataset biases without modeling
them [111.17078939377313]
最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。
これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。
本稿では,これらの問題点を無視する学習モデルについて述べる。
論文 参考訳(メタデータ) (2020-12-02T16:10:54Z) - Towards Debiasing NLU Models from Unknown Biases [70.31427277842239]
NLUモデルは、しばしばバイアスを利用して、意図したタスクを適切に学習することなく、データセット固有の高いパフォーマンスを達成する。
本稿では、モデルがバイアスを事前に知ることなく、主にバイアスを利用するのを防ぐ自己バイアスフレームワークを提案する。
論文 参考訳(メタデータ) (2020-09-25T15:49:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。