論文の概要: MIRAGE: Auditing Anti-Muslim Bias in Frontier LLMs Across Reasoning, Agentic, and Time-Coupled Conditions
- arxiv url: http://arxiv.org/abs/2606.16562v1
- Date: Mon, 15 Jun 2026 11:04:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:34.471384
- Title: MIRAGE: Auditing Anti-Muslim Bias in Frontier LLMs Across Reasoning, Agentic, and Time-Coupled Conditions
- Title(参考訳): MIRAGE: 推論, エージェント, 時間結合条件にまたがるフロンティアLSMにおける反イスラム教徒バイアスの検査
- Abstract要約: 1200個のプロンプトのベンチマークである textbfMIRAGE (Muslim-Identity Reasoning and Agentic Generation Evaluation) を導入する。
チェーン・オブ・シント推論は、ムスリムの暴力団体を、直接の完成率に対して12~34%押し下げるよりも、強調している。
既存のプロンプトに基づく緩和は、我々の3つの条件間では不十分であり、エージェント非対称性をほとんど残しながら直接補完バイアスを抑える。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Five years after the discovery of persistent anti-Muslim bias in large language models, most evaluations remain confined to single-turn prompt completion, a setting that no longer reflects how frontier LLMs are deployed. We introduce \textbf{MIRAGE} (Muslim-Identity Reasoning and Agentic Generation Evaluation), a benchmark of 1{,}200 prompts spanning three deployment-realistic conditions: direct completion, chain-of-thought reasoning, and simulated agentic decision-making across content moderation, lending triage, refugee claim summarization, and hiring screens. Across six frontier models, we find that (i) chain-of-thought reasoning \emph{amplifies} rather than suppresses Muslim-violence associations by 12--34\% relative to direct completion, (ii) agentic decisions exhibit a 9--22 percentage-point asymmetry between Muslim and matched non-Muslim cases on identical evidence, and (iii) bias is sharply time-coupled to retrieved news context, increasing 18--27\% under recent-conflict retrieval. Existing prompt-based mitigations transfer poorly across our three conditions, suppressing direct-completion bias while leaving agentic asymmetry largely intact. We release MIRAGE and an open evaluation harness to support targeted mitigation research.
- Abstract(参考訳): 大規模な言語モデルで永続的な反ムスリムバイアスが発見されてから5年後、ほとんどの評価はシングルターンプロンプト完了に限られており、これはもはやフロンティアLSMの展開方法を反映していない設定である。
我々は,1{,}200のベンチマークである‘textbf{MIRAGE}(Muslim-Identity Reasoning and Agentic Generation Evaluation)を導入し,コンテンツのモデレーション,トリアージの貸与,難民主張の要約,採用画面といった,3つの展開現実的な条件を網羅する。
6つのフロンティアモデルにまたがって
(i)直接完結に対してムスリム・暴力団結を12--34\%抑制するよりむしろ「emph{amplify」というチェーン・オブ・シント推論
(二)エージェントによる決定は、ムスリムと非ムスリムの同一の証拠について一致した非ムスリムの9--22の非対称性を示す。
(iii) バイアスは検索されたニュースコンテキストに急激に時間結合され、近年のコンフリクト検索では18~27倍に増加する。
既存のプロンプトに基づく緩和は、我々の3つの条件間では不十分であり、エージェント非対称性をほとんど残しながら直接補完バイアスを抑える。
我々はMIRAGEとオープン評価ハーネスを公開し、目標緩和研究を支援する。
関連論文リスト
- MRAFnd: Multimodal Retrieval-Augmented Framework for Zero-Shot Fake News Detection [0.0]
ゼロショットシナリオで生成したニュースを検出するための新しいフレームワークである textbfMRAFnd を紹介する。
MRAFndは、ニュースの妥当性を検証するために、アナリストの協力チームをエミュレートする。
3つのベンチマークデータセットに関する総合的な実験によると、MRAFndは最先端のベースラインを著しく超えている。
論文 参考訳(メタデータ) (2026-08-02T18:21:15Z) - The Deliberative Illusion: Diagnosing Factual Attrition and Stance Homogenization in Multi-Agent LLM Deliberation [68.98390038721963]
問題クリティカルな事実の最大72%を,マルチエージェントによる議論で消し去ることを示す。
保持された証拠は誤解を招くことなく問題を再構築し、最終的なスタンスをベースモデルに固定し、単一の悪意のあるエージェントが誤った情報を共有コンテキストに注入することができる。
我々は、どの事実、不確実性、正当な不一致が相互作用を生き残るかを測定する評価を求める。
論文 参考訳(メタデータ) (2026-06-02T02:15:40Z) - Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults [0.0]
LLMエージェントは、ソーシャルフィード、検索結果、検索コンテキスト、電子メールキューなどのランク付けされた外部情報ストリームを消費した後、ますます行動する。
モデル,ペルソナ,トピック,最終決定のプロンプトを保持する制御プロトコルを導入し,エージェントが遭遇するポストの構成と順序だけを変化させる。
我々は, 逆降圧, デフォルト飽和, 一方のフィードが真に不確実な決定を下す非対称性の3つの応答機構を同定した。
論文 参考訳(メタデータ) (2026-05-30T22:43:23Z) - Failing to Falsify: Evaluating and Mitigating Confirmation Bias in Language Models [38.162539966977484]
大規模言語モデル(LLM)は、人間の心理学からの規則発見研究に適応することで、確証バイアスを示す。
LLMは確証バイアスを示し、しばしば三重項を偽造するよりも、仮説を確証するために提案する。
論文 参考訳(メタデータ) (2026-04-02T19:39:52Z) - From RAG to Agentic RAG for Faithful Islamic Question Answering [12.67590523116037]
ISLAMICFAITHQAは、3,810itemのバイリンガル(アラビア語/英語)生成ベンチマークであり、原子シングルゴールドの回答である。
我々はまた,反復的証拠探索と回答のための構造化ツールコールを用いたエージェント的クラングラウンドフレームワーク(エージェントRAG)を開発した。
論文 参考訳(メタデータ) (2026-01-12T13:28:28Z) - Beware of Reasoning Overconfidence: Pitfalls in the Reasoning Process for Multi-solution Tasks [54.31998314008198]
大きな言語モデル(LLM)は、単一の正しい答えを必要とするタスクの推論において優れているが、マルチソリューションタスクでは不十分である。
我々はこの制限を、不完全解集合における不完全確実性を表現する傾向という、不確実な過信(textbfreasoning overconfidence)に起因している。
この仮説は, 思考経路の狭いセットに早急に収束すると, 過信が生じることを示唆するものである。
論文 参考訳(メタデータ) (2025-12-01T14:35:06Z) - Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。
故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。
本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
論文 参考訳(メタデータ) (2025-10-16T05:29:36Z) - Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。
実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。
RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
論文 参考訳(メタデータ) (2025-04-17T16:46:11Z) - SafeMLRM: Demystifying Safety in Multi-modal Large Reasoning Models [50.34706204154244]
推論能力の獲得は、引き継がれた安全アライメントを壊滅的に劣化させる。
特定のシナリオは、25倍の攻撃率を被る。
MLRMは、厳密な推論と問合せの安全結合にもかかわらず、初期段階の自己補正を示す。
論文 参考訳(メタデータ) (2025-04-09T06:53:23Z) - Faithful, Unfaithful or Ambiguous? Multi-Agent Debate with Initial Stance for Summary Evaluation [29.44609627447293]
本稿では,複数のエージェントに初期スタンスを割り当てた忠実度評価を要約する手法を提案する。
我々は、このような特殊な事例を特定するために、新しい次元、曖昧さ、詳細な分類を導入します。
実験により、我々のアプローチはあいまいさの識別に役立ち、曖昧でない要約でもより強力なパフォーマンスが得られることが示された。
論文 参考訳(メタデータ) (2025-02-12T15:46:50Z) - Muslim-Violence Bias Persists in Debiased GPT Models [18.905135223612046]
宗教にまつわる一般的な名前を使って、プロンプトは暴力的な完成率を数倍に高めている。
この結果から,モデルの連続的非バイアス化の必要性が示唆された。
論文 参考訳(メタデータ) (2023-10-25T19:39:58Z) - ADDMU: Detection of Far-Boundary Adversarial Examples with Data and
Model Uncertainty Estimation [125.52743832477404]
AED(Adversarial Examples Detection)は、敵攻撃に対する重要な防御技術である。
本手法は, 正逆検出とFB逆検出の2種類の不確実性推定を組み合わせた新しい手法である textbfADDMU を提案する。
提案手法は,各シナリオにおいて,従来の手法よりも3.6と6.0のEmphAUC点が優れていた。
論文 参考訳(メタデータ) (2022-10-22T09:11:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。