論文の概要: Investigating the Fairness of Large Language Models for Predictions on Tabular Data

• arxiv url: http://arxiv.org/abs/2310.14607v1
• Date: Mon, 23 Oct 2023 06:31:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 22:09:07.574608
• Title: Investigating the Fairness of Large Language Models for Predictions on Tabular Data
• Title（参考訳）: 表データ予測のための大規模言語モデルの公平性の検討
• Authors: Yanchen Liu, Srishti Gautam, Jiaqi Ma, Himabindu Lakkaraju
• Abstract要約: 大規模言語モデル(LLM)は有害な社会的バイアスを示すことが示されている。 LLMはトレーニングデータから社会的偏見を継承する傾向がある。 コンテキスト内の例のラベルフリップは、バイアスを大幅に減少させる。
• 参考スコア（独自算出の注目度）: 26.178497037060097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent literature has suggested the potential of using large language models (LLMs) to make predictions for tabular tasks. However, LLMs have been shown to exhibit harmful social biases that reflect the stereotypes and inequalities present in the society. To this end, as well as the widespread use of tabular data in many high-stake applications, it is imperative to explore the following questions: what sources of information do LLMs draw upon when making predictions for tabular tasks; whether and to what extent are LLM predictions for tabular tasks influenced by social biases and stereotypes; and what are the consequential implications for fairness? Through a series of experiments, we delve into these questions and show that LLMs tend to inherit social biases from their training data which significantly impact their fairness in tabular prediction tasks. Furthermore, our investigations show that in the context of bias mitigation, though in-context learning and fine-tuning have a moderate effect, the fairness metric gap between different subgroups is still larger than that in traditional machine learning models, such as Random Forest and shallow Neural Networks. This observation emphasizes that the social biases are inherent within the LLMs themselves and inherited from their pre-training corpus, not only from the downstream task datasets. Besides, we demonstrate that label-flipping of in-context examples can significantly reduce biases, further highlighting the presence of inherent bias within LLMs.
• Abstract（参考訳）: 近年の文献では,大規模言語モデル(llms)を用いた表状タスクの予測の可能性が示唆されている。 しかし、LSMは社会に存在するステレオタイプや不平等を反映した有害な社会的偏見を示すことが示されている。 この目的のために、多くの高リスクアプリケーションで表データの利用が広まるとともに、表的タスクの予測を行う際にllmがどのような情報ソースを描画するか、社会的バイアスやステレオタイプに影響された表的タスクのllm予測がどの程度なのか、公平性に何をもたらすのか、といった疑問を探究することが不可欠である。 一連の実験を通じて、これらの質問を考察し、llmが彼らのトレーニングデータから社会的バイアスを継承する傾向を示し、それによって表予測タスクにおける公平性に大きな影響を与えることを示した。 さらに, バイアス緩和の文脈においては, 文脈内学習や微調整が適度な効果を持つものの, ランダムフォレストや浅層ニューラルネットワークといった従来の機械学習モデルに比べて, 異なるサブグループ間の公平性メートル差は依然として大きいことが示された。 この観察は、社会的バイアスはllm自体に固有のものであり、下流のタスクデータセットだけでなく、トレーニング前のコーパスから受け継がれていることを強調する。 さらに,文脈内サンプルのラベルフリップがバイアスを著しく低減し,LLM内に固有のバイアスが存在することを明らかにする。

関連論文リスト

• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• Unboxing Occupational Bias: Grounded Debiasing of LLMs with U.S. Labor Data [9.90951705988724]
  大規模言語モデル(LLM)は、社会的バイアスを継承し増幅する傾向がある。 LLMバイアスは、不公平な慣行をもたらし、社会的不平等を悪化させる。
  論文  参考訳（メタデータ） (2024-08-20T23:54:26Z)
• Social Debiasing for Fair Multi-modal LLMs [55.8071045346024]
  MLLM(Multi-modal Large Language Models)は、強力な視覚言語理解機能を提供する。 しかしながら、これらのモデルはトレーニングデータセットから深刻な社会的偏見を継承することが多く、人種や性別といった属性に基づいた不公平な予測につながります。 本稿では,MLLMにおける社会的バイアスの問題に対処する。i)多元的社会的概念(CMSC)を用いた包括的対実的データセットの導入,i)アンチステレオタイプデバイアス戦略(ASD)を提案する。
  論文  参考訳（メタデータ） (2024-08-13T02:08:32Z)
• Fairness in Large Language Models in Three Hours [2.443957114877221]
  このチュートリアルは、大規模言語モデルに関する文献の最近の進歩を体系的に概説する。 LLMにおける公平性の概念を考察し、バイアスを評価するための戦略と公正性を促進するために設計されたアルゴリズムを要約する。
  論文  参考訳（メタデータ） (2024-08-02T03:44:14Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• Fairness in Large Language Models: A Taxonomic Survey [2.669847575321326]
  大規模言語モデル(LLM)は、様々な領域で顕著な成功を収めている。 多くの実世界のアプリケーションで有望な性能を示したにもかかわらず、これらのアルゴリズムのほとんどは公平さを考慮に入れていない。
  論文  参考訳（メタデータ） (2024-03-31T22:22:53Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• How Robust are LLMs to In-Context Majority Label Bias? [3.3577727874594654]
  本研究では,Large Language Models (LLMs) における文脈内学習のロバスト性について検討する。 また,モデルサイズの影響と,モデルの堅牢性に寄与する指導プロンプトの豊かさを強調した。
  論文  参考訳（メタデータ） (2023-12-27T12:20:12Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models [0.0]
  本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。 実験心理学において, LLMは, 特定の社会集団に対して, 肯定的, 否定的感情の偏見を広く抱いているか, あるいは「美しいものは良い」バイアスと類似しているかを問う。
  論文  参考訳（メタデータ） (2023-09-16T07:07:04Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。