論文の概要: MALIBU Benchmark: Multi-Agent LLM Implicit Bias Uncovered

• arxiv url: http://arxiv.org/abs/2507.01019v1
• Date: Thu, 10 Apr 2025 19:16:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-07 02:47:44.409949
• Title: MALIBU Benchmark: Multi-Agent LLM Implicit Bias Uncovered
• Title（参考訳）: MALIBUベンチマーク:マルチエージェントのLLMが原因と判明
• Authors: Imran Mirza, Cole Huang, Ishwara Vasista, Rohan Patil, Asli Akalin, Sean O'Brien, Kevin Zhu,
• Abstract要約: 我々は,マルチエージェントシステムが社会的バイアスやステレオタイプを暗黙的に補強する程度を評価するために開発された新しいベンチマークであるMALIBUを提案する。 本研究は, LLM生成出力の偏差を定量化し, 偏差緩和が真の中立性よりも限界化されたペルソナを優先することを明らかにする。
• 参考スコア（独自算出の注目度）: 2.8692611791027893
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent systems, which consist of multiple AI models interacting within a shared environment, are increasingly used for persona-based interactions. However, if not carefully designed, these systems can reinforce implicit biases in large language models (LLMs), raising concerns about fairness and equitable representation. We present MALIBU, a novel benchmark developed to assess the degree to which LLM-based multi-agent systems implicitly reinforce social biases and stereotypes. MALIBU evaluates bias in LLM-based multi-agent systems through scenario-based assessments. AI models complete tasks within predefined contexts, and their responses undergo evaluation by an LLM-based multi-agent judging system in two phases. In the first phase, judges score responses labeled with specific demographic personas (e.g., gender, race, religion) across four metrics. In the second phase, judges compare paired responses assigned to different personas, scoring them and selecting the superior response. Our study quantifies biases in LLM-generated outputs, revealing that bias mitigation may favor marginalized personas over true neutrality, emphasizing the need for nuanced detection, balanced fairness strategies, and transparent evaluation benchmarks in multi-agent systems.
• Abstract（参考訳）: 共有環境内で相互作用する複数のAIモデルで構成されるマルチエージェントシステムは、ペルソナベースのインタラクションにますます利用されている。 しかし、注意深い設計がなければ、これらのシステムは大きな言語モデル(LLM)における暗黙のバイアスを強化することができ、公平さと公平な表現に対する懸念を提起する。 我々は,LLMに基づくマルチエージェントシステムが社会的バイアスやステレオタイプを暗黙的に強化する程度を評価するために開発された新しいベンチマークであるMALIBUを提案する。 MALIBUはシナリオベースアセスメントによりLLMベースのマルチエージェントシステムのバイアスを評価する。 AIは事前に定義されたコンテキスト内でタスクを完了させ、その応答はLLMベースのマルチエージェント判定システムによって2つのフェーズで評価される。 第1フェーズでは、審査員は4つの指標で、特定の人口統計学的人格(例えば、性別、人種、宗教)でラベル付けされた回答をスコア付けする。 第2段階では、審査員は異なるペルソナに割り当てられたペアのレスポンスを比較し、評価し、優れたレスポンスを選択する。 本研究は, LLM生成出力のバイアスを定量化し, バイアス緩和が真の中立性よりも限界化されたペルソナを優先し, ニュアンス検出, 均衡公正性戦略, マルチエージェントシステムにおける透過的評価ベンチマークの必要性を強調した。

関連論文リスト

• Judging with Many Minds: Do More Perspectives Mean Less Prejudice? [37.06831535578792]
  我々は、位置バイアス、冗長性バイアス、チェーンオブ思考バイアス、バンドワゴンバイアスの4つの多様なバイアスタイプを体系的に分析する。 広く採用されているマルチエージェントLLM-as-JudgeフレームワークであるMulti-Agent-DebateとLLM-as-Meta-Judgeでこれらのバイアスを評価する。
  論文  参考訳（メタデータ） (2025-05-26T03:56:41Z)
• Relative Bias: A Comparative Framework for Quantifying Bias in LLMs [29.112649816695203]
  相対バイアス(Relative Bias)は、LLMの振る舞いが特定のターゲットドメイン内の他のLLMとどのようにずれているかを評価するために設計された手法である。 本稿では,(1)埋め込み空間上の文表現を通して相対的バイアスパターンをキャプチャする埋め込み変換解析と,(2)言語モデルを用いて出力を相対的に評価するLLM-as-a-Judgeという2つの相補的手法を紹介する。 検証のための統計的テストに続くバイアスとアライメントのシナリオに関するいくつかのケーススタディに我々のフレームワークを適用し、この2つのスコアリング手法の間に強い整合性を見出した。
  論文  参考訳（メタデータ） (2025-05-22T01:59:54Z)
• Multi-Agent LLM Judge: automatic personalized LLM judge design for evaluating natural language generation applications [0.0]
  大規模言語モデル(LLM)は、さまざまなドメインにまたがって素晴らしいパフォーマンスを示しているが、ドメイン固有の知識の不足、バイアス、幻覚といった問題に直面している。 単語重複やテキスト埋め込みに依存する従来の評価手法は、動的でオープンなテキスト生成を評価するのに必要なニュアンスドセマンティック情報を取得するには不十分である。 本稿では,様々な自然言語生成アプリケーション向けにパーソナライズされたLLM判断器を自動設計する動的マルチエージェントシステムを提案する。
  論文  参考訳（メタデータ） (2025-04-01T09:36:56Z)
• Ethical AI on the Waitlist: Group Fairness Evaluation of LLM-Aided Organ Allocation [19.66750942418172]
  オルガンアロケーションをケーススタディとして,(1)選択1と(2)ランクオールの2つのタスクを紹介した。 ランクオールでは、LLMは腎臓の全ての候補をランク付けし、実際の割り当てプロセスを反映している。 従来の公正度指標はランク付けを考慮しないため、バイアスを捉えるためにボルダスコアの新たな応用を提案する。
  論文  参考訳（メタデータ） (2025-03-29T04:36:25Z)
• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• A Multi-LLM Debiasing Framework [85.17156744155915]
  大規模言語モデル(LLM)は、社会に多大な利益をもたらす可能性がある強力なツールであるが、社会的不平等を持続するバイアスを示す。 近年,マルチLLM手法への関心が高まっており,推論の質向上に有効であることが示されている。 LLMのバイアス低減を目的としたマルチLLMデバイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T20:24:50Z)
• Sample-Efficient Human Evaluation of Large Language Models via Maximum Discrepancy Competition [38.822535662755314]
  大規模言語モデル(LLM)のためのサンプル効率のよい人的評価手法を提案する。 提案手法は,LLM応答のペア間のセマンティックな差異を最大化する,コンパクトな入力命令セットを自動的に適応的に選択する。 人間の評価者は、これらのペア化された反応に対して3つの代替的な選択を行い、エロ評価を用いてグローバルなランキングに集約される。
  論文  参考訳（メタデータ） (2024-04-10T01:26:24Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。