論文の概要: Analysis Of Linguistic Stereotypes in Single and Multi-Agent Generative AI Architectures
- arxiv url: http://arxiv.org/abs/2603.18729v1
- Date: Thu, 19 Mar 2026 10:24:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-20 17:19:06.086484
- Title: Analysis Of Linguistic Stereotypes in Single and Multi-Agent Generative AI Architectures
- Title(参考訳): 単一および多エージェントな生成AIアーキテクチャにおける言語ステレオタイプの解析
- Authors: Martina Ullasci, Marco Rondina, Riccardo Coppola, Flavio Giobergia, Riccardo Bellanca, Gabriele Mancari Pasi, Luca Prato, Federico Spinoso, Silvia Tagliente,
- Abstract要約: 本稿では,LLM出力における方言感受性ステレオタイプ生成の既存解析を再現する。
我々は8つのプロンプトテンプレートを定義し、方言バイアスが現れる様々な方法を分析する。
LLM-as-judge 法を用いて結果のバイアスを評価する。
- 参考スコア(独自算出の注目度): 4.112801542332816
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many works in the literature show that LLM outputs exhibit discriminatory behaviour, triggering stereotype-based inferences based on the dialect in which the inputs are written. This bias has been shown to be particularly pronounced when the same inputs are provided to LLMs in Standard American English (SAE) and African-American English (AAE). In this paper, we replicate existing analyses of dialect-sensitive stereotype generation in LLM outputs and investigate the effects of mitigation strategies, including prompt engineering (role-based and Chain-Of-Thought prompting) and multi-agent architectures composed of generate-critique-revise models. We define eight prompt templates to analyse different ways in which dialect bias can manifest, such as suggested names, jobs, and adjectives for SAE or AAE speakers. We use an LLM-as-judge approach to evaluate the bias in the results. Our results show that stereotype-bearing differences emerge between SAE- and AAE-related outputs across all template categories, with the strongest effects observed in adjective and job attribution. Baseline disparities vary substantially by model, with the largest SAE-AAE differential observed in Claude Haiku and the smallest in Phi-4 Mini. Chain-Of-Thought prompting proved to be an effective mitigation strategy for Claude Haiku, whereas the use of a multi-agent architecture ensured consistent mitigation across all the models. These findings suggest that for intersectionality-informed software engineering, fairness evaluation should include model-specific validation of mitigation strategies, and workflow-level controls (e.g., agentic architectures involving critique models) in high-impact LLM deployments. The current results are exploratory in nature and limited in scope, but can lead to extensions and replications by increasing the dataset size and applying the procedure to different languages or dialects.
- Abstract(参考訳): 文献における多くの研究は、LLM出力が識別行動を示し、入力が書かれた方言に基づいてステレオタイプベースの推論を誘導していることを示している。
このバイアスは、標準アメリカ英語(SAE)とアフリカ系アメリカ人英語(AAE)でLLMに同じ入力が提供されるときに特に顕著である。
本稿では, LLM出力における方言感応ステレオタイプ生成の既存解析を再現し, 生成批判・修正モデルからなる素早い工学的手法(ロールベース, 連鎖-Of-Thoughtプロンプト)やマルチエージェントアーキテクチャなど, 緩和戦略の効果について検討する。
SAE話者やAE話者に提案される名前、職名、形容詞など、方言バイアスが現れる様々な方法を分析するために、8つのプロンプトテンプレートを定義した。
LLM-as-judge 法を用いて結果のバイアスを評価する。
以上の結果から,SAE-とAE-関連アウトプットの立体的差異は,すべてのテンプレートカテゴリーにおいて出現し,形容詞的および職業的属性において最も強い影響が認められた。
ベースラインの差異はモデルによって大きく異なり、クロード・ハイクでは最大のSAE-AAE差が観測され、Phi-4 Miniでは最小の差が観測された。
Chain-Of-ThoughtプロンプトはClaude Haikuにとって効果的な緩和戦略であることが証明された。
これらの結果から, 交差性インフォームドソフトウェアエンジニアリングにおいて, 公平性評価には, 緩和戦略のモデル固有の検証, ワークフローレベルの制御(例えば, 批判モデルを含むエージェントアーキテクチャ)を, 高度にインパクトのあるLCMデプロイメントに含めるべきであることが示唆された。
現在の結果は自然界で探索的であり、範囲は限られているが、データセットのサイズを拡大し、異なる言語や方言にプロシージャを適用することにより、拡張やレプリケーションにつながる可能性がある。
関連論文リスト
- Discrete Diffusion in Large Language and Multimodal Models: A Survey [61.86669998363359]
離散拡散言語モデル(dLLMs)と離散拡散多モード言語モデル(dMLLMs)の体系的調査を行う。
自己回帰(AR)モデルとは異なり、dLLMsとdMLLMsはマルチトークンの並列デコーディングパラダイムを採用しており、フルアテンションとデノナイジングに基づく生成戦略を採用している。
我々は、dLLMとdMLLMの歴史的発展を辿り、基礎となる数学的枠組みを定式化し、一般的なモデリング手法を列挙し、代表モデルを分類する。
論文 参考訳(メタデータ) (2025-06-16T17:59:08Z) - Evaluating book summaries from internal knowledge in Large Language Models: a cross-model and semantic consistency approach [0.0]
本研究では,大規模言語モデル(LLM)を用いて,包括的かつ正確な書籍要約を生成する能力について検討する。
これらのモデルが、確立された人間の解釈と一致した有意義な物語を合成できるかどうかを検討する。
論文 参考訳(メタデータ) (2025-03-27T15:36:24Z) - Disparities in LLM Reasoning Accuracy and Explanations: A Case Study on African American English [66.97110551643722]
本研究では,Large Language Models (LLMs) 推論タスクにおける方言の相違について検討する。
LLMは、AAE入力に対するより正確な応答とより単純な推論チェーンと説明を生成する。
これらの知見は、LLMの処理方法と異なる言語品種の理由の体系的差異を浮き彫りにした。
論文 参考訳(メタデータ) (2025-03-06T05:15:34Z) - Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。
CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。
本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
論文 参考訳(メタデータ) (2024-11-01T01:51:31Z) - BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。
異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。
評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
論文 参考訳(メタデータ) (2023-10-24T12:18:17Z) - Competence-Based Analysis of Language Models [21.43498764977656]
CALM (Competence-based Analysis of Language Models) は、特定のタスクの文脈におけるLLM能力を調べるために設計された。
我々は,勾配に基づく対向攻撃を用いた因果探究介入を行うための新しい手法を開発した。
これらの介入を用いてCALMのケーススタディを行い、様々な語彙推論タスクにおけるLCM能力の分析と比較を行う。
論文 参考訳(メタデータ) (2023-03-01T08:53:36Z) - Examining Scaling and Transfer of Language Model Architectures for
Machine Translation [51.69212730675345]
言語モデル(LM)は単一のレイヤのスタックで処理し、エンコーダ・デコーダモデル(EncDec)は入力と出力の処理に別々のレイヤスタックを使用する。
機械翻訳において、EncDecは長年好まれてきたアプローチであるが、LMの性能についての研究はほとんどない。
論文 参考訳(メタデータ) (2022-02-01T16:20:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。