論文の概要: Breaking the Benchmark: Revealing LLM Bias via Minimal Contextual Augmentation

• arxiv url: http://arxiv.org/abs/2510.23921v1
• Date: Mon, 27 Oct 2025 23:05:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:36.610087
• Title: Breaking the Benchmark: Revealing LLM Bias via Minimal Contextual Augmentation
• Title（参考訳）: ベンチマークを破る - 最小コンテキスト拡張によるLLMバイアスの探索
• Authors: Kaveh Eskandari Miandoab, Mahammed Kamruzzaman, Arshia Gharooni, Gene Louis Kim, Vasanth Sarathy, Ninareh Mehrabi,
• Abstract要約: 大規模言語モデルは、その表現と振舞いにステレオタイプ的バイアスを示すことが示されている。 3つのプラグ・アンド・プレイステップを含む,新規で汎用的な拡張フレームワークを提案する。 大規模言語モデルは入力の摂動に影響を受けやすいことが分かり、ステレオタイプに振る舞う可能性が高くなる。
• 参考スコア（独自算出の注目度）: 12.56588481992456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models have been shown to demonstrate stereotypical biases in their representations and behavior due to the discriminative nature of the data that they have been trained on. Despite significant progress in the development of methods and models that refrain from using stereotypical information in their decision-making, recent work has shown that approaches used for bias alignment are brittle. In this work, we introduce a novel and general augmentation framework that involves three plug-and-play steps and is applicable to a number of fairness evaluation benchmarks. Through application of augmentation to a fairness evaluation dataset (Bias Benchmark for Question Answering (BBQ)), we find that Large Language Models (LLMs), including state-of-the-art open and closed weight models, are susceptible to perturbations to their inputs, showcasing a higher likelihood to behave stereotypically. Furthermore, we find that such models are more likely to have biased behavior in cases where the target demographic belongs to a community less studied by the literature, underlining the need to expand the fairness and safety research to include more diverse communities.
• Abstract（参考訳）: 大規模言語モデルは、訓練されたデータの識別性により、その表現や振る舞いにステレオタイプ的バイアスを示すことが示されている。 意思決定においてステレオタイプ情報の使用を控える手法やモデルの開発が著しく進展しているにもかかわらず、近年の研究では、バイアスアライメントに使用されるアプローチが脆弱であることが示されている。 本研究では,3つのプラグアンドプレイステップを含む新規で汎用的な拡張フレームワークを導入し,多くのフェアネス評価ベンチマークに適用する。 公正度評価データセット(BBQ)への拡張の適用により、最先端のオープンおよびクローズドウェイトモデルを含む大規模言語モデル(LLM)が入力に摂動を受けやすく、ステレオタイプに振る舞う可能性が高くなることがわかった。 さらに,対象人口層が文献による研究の少ない地域社会に属している場合,より多様な地域社会を含むフェアネスと安全研究の拡大の必要性が示唆された場合,そのようなモデルが偏りやすいことが判明した。

関連論文リスト

• Adaptive Generation of Bias-Eliciting Questions for LLMs [18.608477560948003]
  大規模言語モデル(LLM)は現在、ユーザ向けアプリケーションに広くデプロイされており、世界中で数億に達しています。 我々は,性,人種,宗教などのセンシティブな属性に対して,現実的でオープンな質問を自動的に生成する,反現実的バイアス評価フレームワークを導入する。 また、非対称な拒絶や偏見の明示的な認識など、ユーザインタラクションにますます関係する異なる応答次元も捉えています。
  論文  参考訳（メタデータ） (2025-10-14T13:08:10Z)
• VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
  我々は、LVLM(Large Vision-Language Models)におけるバイアスを評価するベンチマークであるVLBiasBenchを紹介する。 VLBiasBenchは、年齢、障害ステータス、性別、国籍、身体的外観、人種、宗教、職業、社会経済ステータスを含む9つの異なる社会バイアスのカテゴリを含むデータセットと、人種x性別と人種x社会経済ステータスの2つの交叉バイアスのカテゴリを含む。 15のオープンソースモデルと2つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルに存在するバイアスに関する新たな洞察を得る。
  論文  参考訳（メタデータ） (2024-06-20T10:56:59Z)
• ROBBIE: Robust Bias Evaluation of Large Generative Language Models [27.864027322486375]
  異なるプロンプトベースのデータセットを使用して、複数のテキストドメインと人口統計軸にわたる社会的バイアスを測定することができる。 我々は,12の人口動態軸と5のジェネレーションLLMの家系の6つの異なるプロンプトベースのバイアスと毒性の指標を比較した。 3つのバイアス/毒性の緩和技術が、我々の一連の測定においていかにうまく機能するかを包括的に研究する。
  論文  参考訳（メタデータ） (2023-11-29T23:03:04Z)
• Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
  本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。 既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSoFaをキュレートする。 我々は、言語モデル内のバイアスが認識されるよりもニュアンスが高いことを示し、これまで認識されていたよりもより広く符号化されたバイアスの範囲を示している。
  論文  参考訳（メタデータ） (2023-11-15T16:35:59Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• "I'm sorry to hear that": Finding New Biases in Language Models with a Holistic Descriptor Dataset [12.000335510088648]
  新しい包括的バイアス測定データセットであるHollisticBiasを紹介します。 HolisticBiasは、これらの用語の生きた経験を持つ専門家やコミュニティメンバーを含む参加的なプロセスで組み立てられた。 我々は,HolisticBiasが,言語モデルからトークンの確率において,検出不能なバイアスを測定するのに有効であることを実証した。
  論文  参考訳（メタデータ） (2022-05-18T20:37:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。