Fugu-MT 論文翻訳(概要): Bias Similarity Across Large Language Models

論文の概要: Bias Similarity Across Large Language Models

arxiv url: http://arxiv.org/abs/2410.12010v1
Date: Tue, 15 Oct 2024 19:21:14 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-17 13:44:51.696186
Title: Bias Similarity Across Large Language Models
Title（参考訳）: 大規模言語モデルにおけるバイアス類似性
Authors: Hyejun Jeong, Shiqing Ma, Amir Houmansadr,
Abstract要約: 機械学習モデルのバイアスは慢性的な問題である。オープンソースとクローズドな10のLarge Language Modelを包括的に見ていきます。モデル間のバイアスがどのように現れるかを理解するために、機能的類似度を測定します。
参考スコア（独自算出の注目度）: 32.0365189539138
License:
Abstract: Bias in machine learning models has been a chronic problem, especially as these models influence decision-making in human society. In generative AI, such as Large Language Models, the impact of bias is even more profound compared to the classification models. LLMs produce realistic and human-like content that users may unconsciously trust, which could perpetuate harmful stereotypes to the uncontrolled public. It becomes particularly concerning when utilized in journalism or education. While prior studies have explored and quantified bias in individual AI models, no work has yet compared bias similarity across different LLMs. To fill this gap, we take a comprehensive look at ten open- and closed-source LLMs from four model families, assessing the extent of biases through output distribution. Using two datasets-one containing 4k questions and another with one million questions for each of the four bias dimensions -- we measure functional similarity to understand how biases manifest across models. Our findings reveal that 1) fine-tuning does not significantly alter output distributions, which would limit its ability to mitigate bias, 2) LLMs within the same family tree do not produce similar output distributions, implying that addressing bias in one model could have limited implications for others in the same family, and 3) there is a possible risk of training data information leakage, raising concerns about privacy and data security. Our analysis provides insight into LLM behavior and highlights potential risks in real-world deployment.
Abstract（参考訳）: 機械学習モデルのバイアスは慢性的な問題であり、特にこれらのモデルは人間の社会における意思決定に影響を与える。大規模言語モデルのような生成的AIでは、バイアスの影響は分類モデルよりもさらに深い。 LLMは、ユーザーが無意識に信頼できる現実的で人間的なコンテンツを生成し、有害なステレオタイプをコントロールされていない人々に永続させる。特に、ジャーナリズムや教育で使用される際に関係する。従来の研究では、個々のAIモデルにおいてバイアスを定量化してきたが、異なるLLM間でバイアス類似性を比較した研究はまだない。このギャップを埋めるために、4つのモデルファミリーから10個のオープンおよびクローズドソース LLM を総合的に検討し、出力分布によるバイアスの程度を評価する。 4kの質問を含む2つのデータセットと、4つのバイアス次元それぞれに100万の質問 -- を使用して、モデル間でのバイアスがどのように現れるかを理解するために、機能的類似度を測定します。私たちの発見は 1)微調整では出力分布が大きく変化せず,バイアスを緩和する能力が制限される。 2同じ系統木内のLLMは類似の出力分布を生じないため、一つのモデルにおける対応バイアスが同一系統内の他の系統に限られた影響を及ぼす可能性があることを示唆する。 3)データ情報の漏洩を訓練し,プライバシやデータセキュリティに関する懸念を提起するリスクがある。我々の分析は、LLMの振る舞いに関する洞察を提供し、現実世界のデプロイメントにおける潜在的なリスクを強調します。

関連論文リスト

LLMs are Biased Teachers: Evaluating LLM Bias in Personalized Education [6.354025374447606]
パーソナライズされた教育環境において,大きな言語モデル(LLM)をバイアスとして評価する。我々は、異なる人口集団に合わせた教育コンテンツをモデルが生成し、選択する方法について、重大なバイアスを明らかにした。
論文参考訳（メタデータ） (2024-10-17T20:27:44Z)
Towards Implicit Bias Detection and Mitigation in Multi-Agent LLM Interactions [25.809599403713506]
大規模言語モデル(LLM)は、社会をシミュレートし、多様な社会的タスクを実行するために、多くの研究で採用されている。 LLMは、人為的なデータに曝されるため、社会的偏見に影響を受けやすい。本研究では,多エージェントLDM相互作用における性バイアスの存在について検討し,これらのバイアスを軽減するための2つの方法を提案する。
論文参考訳（メタデータ） (2024-10-03T15:28:05Z)
Unboxing Occupational Bias: Grounded Debiasing of LLMs with U.S. Labor Data [9.90951705988724]
大規模言語モデル(LLM)は、社会的バイアスを継承し増幅する傾向がある。 LLMバイアスは、不公平な慣行をもたらし、社会的不平等を悪化させる。
論文参考訳（メタデータ） (2024-08-20T23:54:26Z)
VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
VLBiasBenchは、LVLM(Large Vision-Language Models)におけるバイアスの評価を目的としたベンチマークである。我々は、年齢、障害状態、性別、国籍、身体的外観、人種、宗教、職業、社会的経済状態、および2つの交叉バイアスカテゴリー(人種x性、人種x社会経済状態)を含む9つの異なる社会バイアスカテゴリーを含むデータセットを構築した。 15のオープンソースモデルと1つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルから明らかになったバイアスに関する新たな洞察を提供する。
論文参考訳（メタデータ） (2024-06-20T10:56:59Z)
Cognitive Bias in Decision-Making with LLMs [19.87475562475802]
大規模言語モデル(LLM)は、幅広い意思決定タスクをサポートするツールとして大きな可能性を秘めている。 LLMは保護されたグループに対する社会的バイアスを継承し、認知バイアスと機能的に類似している。私たちの研究は、LLMの認知バイアスを発見し、評価し、緩和するために設計されたフレームワークであるBiasBusterを紹介します。
論文参考訳（メタデータ） (2024-02-25T02:35:56Z)
Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
論文参考訳（メタデータ） (2024-02-18T03:10:39Z)
Self-Debiasing Large Language Models: Zero-Shot Recognition and Reduction of Stereotypes [73.12947922129261]
ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
論文参考訳（メタデータ） (2024-02-03T01:40:11Z)
ROBBIE: Robust Bias Evaluation of Large Generative Language Models [27.864027322486375]
異なるプロンプトベースのデータセットを使用して、複数のテキストドメインと人口統計軸にわたる社会的バイアスを測定することができる。我々は,12の人口動態軸と5のジェネレーションLLMの家系の6つの異なるプロンプトベースのバイアスと毒性の指標を比較した。 3つのバイアス/毒性の緩和技術が、我々の一連の測定においていかにうまく機能するかを包括的に研究する。
論文参考訳（メタデータ） (2023-11-29T23:03:04Z)
Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文参考訳（メタデータ） (2023-11-15T00:02:25Z)
Fast Model Debias with Machine Unlearning [54.32026474971696]
ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
論文参考訳（メタデータ） (2023-10-19T08:10:57Z)
Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。本稿では,これらの問題点を無視する学習モデルについて述べる。
論文参考訳（メタデータ） (2020-12-02T16:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。