論文の概要: Quantitative Certification of Bias in Large Language Models

• arxiv url: http://arxiv.org/abs/2405.18780v1
• Date: Wed, 29 May 2024 05:39:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 18:38:40.091903
• Title: Quantitative Certification of Bias in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるバイアスの定量化
• Authors: Isha Chaudhary, Qian Hu, Manoj Kumar, Morteza Ziyadi, Rahul Gupta, Gagandeep Singh,
• Abstract要約: 大規模言語モデル(LLM)は、社会的バイアスを示し、ステレオタイプをサポートする応答を生成することができる。 対象のLSMから偏りのない応答を得るための正式な保証を提供する新しい認証フレームワークであるQuaCer-Bを提案する。
• 参考スコア（独自算出の注目度）: 18.91760463088026
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) can produce responses that exhibit social biases and support stereotypes. However, conventional benchmarking is insufficient to thoroughly evaluate LLM bias, as it can not scale to large sets of prompts and provides no guarantees. Therefore, we propose a novel certification framework QuaCer-B (Quantitative Certification of Bias) that provides formal guarantees on obtaining unbiased responses from target LLMs under large sets of prompts. A certificate consists of high-confidence bounds on the probability of obtaining biased responses from the LLM for any set of prompts containing sensitive attributes, sampled from a distribution. We illustrate the bias certification in LLMs for prompts with various prefixes drawn from given distributions. We consider distributions of random token sequences, mixtures of manual jailbreaks, and jailbreaks in the LLM's embedding space to certify its bias. We certify popular LLMs with QuaCer-B and present novel insights into their biases.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、社会的バイアスを示し、ステレオタイプをサポートする応答を生成することができる。 しかし、従来のベンチマークでは、大量のプロンプトにスケールできないため、LLMバイアスを徹底的に評価するには不十分であり、保証は提供されない。 そこで本稿では,提案する新たな認証フレームワークであるQuaCer-B(Quantitative Certification of Bias)を提案する。 証明書は、分布からサンプリングされた機密属性を含むプロンプトの集合に対して、LSMからバイアス応答を得る確率に関する高信頼境界から構成される。 与えられた分布から様々な接頭辞を引いたプロンプトに対するLLMのバイアス認証について説明する。 ランダムなトークンシーケンス,手動のジェイルブレイクの混合,およびLDMの埋め込み空間におけるジェイルブレイクの分布について検討し,そのバイアスを証明した。 我々は、人気のあるLLMをQuaCer-Bで認証し、それらのバイアスに関する新しい洞察を示す。

関連論文リスト

• From Distributional to Overton Pluralism: Investigating Large Language Model Alignment [82.99849359892112]
  適応後の応答多様性の低下を以前報告した再検査を行った。 分析の結果,応答の多様性の明らかな低下は,品質管理と情報集約によって大きく説明できることがわかった。 発見は、現在のアライメント技術はキャプチャーされるが、アシスタントライクなベースLLM動作の有用なサブセットを拡張するものではないことを示している。
  論文  参考訳（メタデータ） (2024-06-25T16:32:33Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• REQUAL-LM: Reliability and Equity through Aggregation in Large Language Models [10.684722193666607]
  本稿では,信頼度の高い大規模言語モデル (LLM) の出力をアグリゲーションによって検出する新しい手法であるREQUAL-LMを紹介する。 具体的には、繰り返しサンプリングに基づくモンテカルロ法を開発し、可能な出力の基底分布の平均に近い信頼性のある出力を求める。 信頼性とバイアスといった用語を正式に定義し、信頼性の高いアウトプットを見つけながら有害なバイアスを最小限に抑えるために、株式を意識したアグリゲーションを設計する。
  論文  参考訳（メタデータ） (2024-04-17T22:12:41Z)
• A Group Fairness Lens for Large Language Models [34.0579082699443]
  大規模な言語モデルは、ソーシャルメディアの文脈に展開する際の偏見と不公平さを永久に防ぐことができる。 多様な社会集団を特徴付ける新しい階層型スキーマを用いて,グループフェアネスレンズからLLMバイアスを評価する。 我々は,グループフェアネスの観点からLLMのバイアスを軽減するために,GF-Thinkという新しいチェーン・オブ・シンク法を考案した。
  論文  参考訳（メタデータ） (2023-12-24T13:25:15Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Using Large Language Models for Qualitative Analysis can Introduce Serious Bias [0.09208007322096534]
  大規模言語モデル(LLM)は急速に普及しつつあるが、社会科学研究の意義はまだよく分かっていない。 本稿では, バングラデシュのコックス・バザールにおけるロヒンギャ難民へのインタビューの書き起こしを応用して, オープンエンドインタビューから大規模Nの質的データを分析する上で, LLMが有効かどうかを問う。 LLMを使ってテキストに注釈を付けるには、誤解を招く可能性のあるバイアスを導入するリスクがあるため、非常に注意が必要であることが分かりました。
  論文  参考訳（メタデータ） (2023-09-29T11:19:15Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• Generating with Confidence: Uncertainty Quantification for Black-box Large Language Models [37.63939774027709]
  自然言語生成(NLG)に特化した大規模言語モデル(LLM)が,最近,有望な機能を示すようになった。 我々は、信頼できない結果が無視されるか、さらなる評価のために得られるような、選択的なNLG*に適用し、いくつかの信頼/不確実性対策を提案し、比較する。 その結果, セマンティックな分散の簡易な測定は, LLM応答の質の信頼性を予測できることがわかった。
  論文  参考訳（メタデータ） (2023-05-30T16:31:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。