論文の概要: Quantitative Certification of Bias in Large Language Models

• arxiv url: http://arxiv.org/abs/2405.18780v1
• Date: Wed, 29 May 2024 05:39:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 18:38:40.091903
• Title: Quantitative Certification of Bias in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるバイアスの定量化
• Authors: Isha Chaudhary, Qian Hu, Manoj Kumar, Morteza Ziyadi, Rahul Gupta, Gagandeep Singh,
• Abstract要約: 大規模言語モデル(LLM)は、社会的バイアスを示し、ステレオタイプをサポートする応答を生成することができる。 対象のLSMから偏りのない応答を得るための正式な保証を提供する新しい認証フレームワークであるQuaCer-Bを提案する。
• 参考スコア（独自算出の注目度）: 18.91760463088026
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) can produce responses that exhibit social biases and support stereotypes. However, conventional benchmarking is insufficient to thoroughly evaluate LLM bias, as it can not scale to large sets of prompts and provides no guarantees. Therefore, we propose a novel certification framework QuaCer-B (Quantitative Certification of Bias) that provides formal guarantees on obtaining unbiased responses from target LLMs under large sets of prompts. A certificate consists of high-confidence bounds on the probability of obtaining biased responses from the LLM for any set of prompts containing sensitive attributes, sampled from a distribution. We illustrate the bias certification in LLMs for prompts with various prefixes drawn from given distributions. We consider distributions of random token sequences, mixtures of manual jailbreaks, and jailbreaks in the LLM's embedding space to certify its bias. We certify popular LLMs with QuaCer-B and present novel insights into their biases.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、社会的バイアスを示し、ステレオタイプをサポートする応答を生成することができる。 しかし、従来のベンチマークでは、大量のプロンプトにスケールできないため、LLMバイアスを徹底的に評価するには不十分であり、保証は提供されない。 そこで本稿では,提案する新たな認証フレームワークであるQuaCer-B(Quantitative Certification of Bias)を提案する。 証明書は、分布からサンプリングされた機密属性を含むプロンプトの集合に対して、LSMからバイアス応答を得る確率に関する高信頼境界から構成される。 与えられた分布から様々な接頭辞を引いたプロンプトに対するLLMのバイアス認証について説明する。 ランダムなトークンシーケンス,手動のジェイルブレイクの混合,およびLDMの埋め込み空間におけるジェイルブレイクの分布について検討し,そのバイアスを証明した。 我々は、人気のあるLLMをQuaCer-Bで認証し、それらのバイアスに関する新しい洞察を示す。

関連論文リスト

• Explicit Inductive Inference using Large Language Models [13.767536248988268]
  大規模言語モデル(LLM)は、推論タスクに対して望ましくない証明バイアスを負うと報告されている。 このバイアスを利用して明示的な帰納的推論を行うパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-26T17:58:17Z)
• Promoting Equality in Large Language Models: Identifying and Mitigating the Implicit Bias based on Bayesian Theory [29.201402717025335]
  大規模言語モデル(LLM)は、必然的にバイアスのある情報を含む広範なテキストコーパスで訓練される。 我々は、暗黙のバイアス問題を正式に定義し、ベイズ理論に基づくバイアス除去のための革新的な枠組みを開発した。
  論文  参考訳（メタデータ） (2024-08-20T07:40:12Z)
• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Self-Debiasing Large Language Models: Zero-Shot Recognition and Reduction of Stereotypes [73.12947922129261]
  ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。 自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。 この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
  論文  参考訳（メタデータ） (2024-02-03T01:40:11Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• Conformal Language Modeling [61.94417935386489]
  生成言語モデル(LM)の共形予測のための新しい手法を提案する。 標準共形予測は厳密で統計的に保証された予測セットを生成する。 我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
  論文  参考訳（メタデータ） (2023-06-16T21:55:08Z)
• Gray Learning from Non-IID Data with Out-of-distribution Samples [45.788789553551176]
  専門家が注釈を付けたとしても、トレーニングデータの完全性は保証されていない。 我々は,基本真実と相補的ラベルを両立させる新しいアプローチであるtextitGray Learningを導入する。 統計学習理論における我々のアプローチを基礎として、一般化誤差の境界を導出し、GLが非IID設定でも厳密な制約を達成できることを実証する。
  論文  参考訳（メタデータ） (2022-06-19T10:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。