論文の概要: Are LLMs Ready for Conflict Monitoring? Empirical Evidence from West Africa
- arxiv url: http://arxiv.org/abs/2605.04177v1
- Date: Tue, 05 May 2026 18:14:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.478518
- Title: Are LLMs Ready for Conflict Monitoring? Empirical Evidence from West Africa
- Title(参考訳): LLMは紛争監視の準備は整っているか? 西アフリカからの実証的証拠
- Abstract要約: Gemma 3 4B, Llama 3.2 3B, Mistral 7B, OLMo 2 7BおよびAfroConfliBERTとAfroConfliLLAMAの2つのドメイン適応モデルについて検討した。
オープンウェイトモデルは統計的に有意な偽 Illegitimation バイアスを示す。
我々は、アクターに基づく選択バイアスを減らすために、公正な微調整、語彙操作に対する必然的敵意評価、コンテキスト固有の人間-イン・ザ・ループの監視を求める。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As LLMs enter conflict monitoring, understanding systematic distortions in their outputs is critical for humanitarian accountability. We evaluate four vanilla open-weight models Gemma 3 4B, Llama 3.2 3B, Mistral 7B, and OLMo 2 7B and two domain-adapted models, AfroConfliBERT and AfroConfliLLAMA, on Nigeria and Cameroon conflict-event classification against ACLED, a gold-standard dataset with multi-stage verification. We find a bifurcated divergence in normative directionality. Open-weight models exhibit statistically significant False Illegitimation bias: Gemma misclassifies to 18.29% of legitimate battles as civilian-targeted violence while making zero False Legitimation errors. By contrast, AfroConfliBERT and AfroConfliLLAMA achieve near-directional neutrality, with Legitimization Bias differences indistinguishable from zero. Yet domain adaptation does not eliminate actor-based selection bias. Both adapted models show statistically significant actor bias comparable to vanilla LLMs; in Nigeria, state actors are legitimized 36.5% more often than non-state actors in identical tactical contexts. Open-weight outputs are also fragile to geography-specific lexical framing: delegitimizing phrases produce flip rates up to 66.7% in Cameroon and 34.2% in Nigeria, while perturbations salient in one context may not matter in another. Error trace profiling shows models mask normative bias through unfaithful rationale confabulations. In contrast, AfroConfliBERT and AfroConfliLLAMA are largely robust, with near-zero flip rates across perturbation categories. Overall, current models are not ready for unsupervised deployment in conflict monitoring. We call for fairness-aware fine-tuning to reduce actor-based selection bias, mandatory adversarial robustness evaluation against lexical manipulation, and context-specific human-in-the-loop oversight calibrated to regional difficulty.
- Abstract(参考訳): LLMが紛争監視に入ると、アウトプットの系統的歪みを理解することは人道的説明責任にとって重要である。
我々はナイジェリアとカメルーンの紛争時分類において,多段階認証付きゴールド標準データセットACLEDに対して,Gemma 3 4B,Llama 3.2 3B,Mistral 7B,OLMo 2 7B,AfroConfliBERT,AfroConfliLLAMAの4つのバニラオープンウェイトモデルとドメイン適応モデルAfroConfliBERT,AfroConfliLLAMAの2つを評価した。
規範的指向性において分岐した分岐を見いだす。
ゲマは18.29%の合法的な戦闘を民間の標的とした暴力と誤分類し、偽の合法的誤りをゼロにする。
対照的に、AfroConfliBERT と AfroConfliLLAMA は、正準化バイアス差が 0 と区別できないため、ほぼ方向性の中立性を達成する。
しかし、ドメイン適応はアクターベースの選択バイアスを排除しない。
両モデルともバニラのLSMに匹敵する統計的に有意なアクターバイアスを示しており、ナイジェリアでは、国家のアクターは同じ戦術的な文脈で非国家のアクターよりも36.5%の確率で合法化されている。
カメルーンでは66.7%、ナイジェリアでは34.2%、ある文脈では摂動は重要でない。
誤りトレースプロファイリング(英語版)は、モデルが不誠実な合理性衝突を通して規範的バイアスをマスクしていることを示している。
対照的に、AfroConfliBERT と AfroConfliLLAMA は、摂動カテゴリ間でほぼゼロのフリップ率を持つ、ほぼ堅牢である。
全体として、現在のモデルは、コンフリクト監視における教師なしデプロイメントの準備が整っていない。
我々は,アクターによる選択バイアスを低減するためのフェアネス対応の微調整,語彙操作に対する正反対の頑健性評価,および地域的困難に配慮したコンテキスト特異的な人道監視を求める。
関連論文リスト
- FairFund-Bench: Evaluating Distributive Bias in LLM Resource Allocation [0.0]
FairFund-Benchは,従来の監査設計の主要な特徴を体系的に変化させるベンチマークである。
この不一致は監査形式の違いから生じる可能性を示し、FairFund-Benchを紹介する。
このベンチマークは、4つの基準(デコグラフィーバイアス、保存性アライメント、クロスタスク整合性、およびクロスコンテキスト整合性)でモデルを評価する。
論文 参考訳(メタデータ) (2026-07-31T01:29:16Z) - The Geopolitics of AI Safety: A Causal Analysis of Regional LLM Bias [0.20305676256390937]
本研究では,大規模言語モデルの評価を慎重に行うための確率的グラフィカルモデル(PGM)フレームワークを提案する。
我々は、様々な起源にまたがる7つの命令チューニングモデルに対して、大規模な経験分析を行う。
これらのバイアスがもたらす意味について議論し、下流のアプリケーションにおいて、人口統計に敏感な過剰トリガーが良質な言論をいかに制限するかを強調した。
論文 参考訳(メタデータ) (2026-05-06T20:35:57Z) - Intersectional Fairness in Large Language Models [3.1746607422907513]
大規模言語モデル(LLM)は、社会的に敏感な設定にますますデプロイされる。
本稿では,あいまいな文脈とあいまいな文脈を用いた6つのLLMにおける交差点の公平さを体系的に評価する。
論文 参考訳(メタデータ) (2026-04-22T15:25:47Z) - Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。
故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。
本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
論文 参考訳(メタデータ) (2025-10-16T05:29:36Z) - HALF: Harm-Aware LLM Fairness Evaluation Aligned with Deployment [52.374772443536045]
HALF(Harm-Aware LLM Fairness)は、現実的なアプリケーションにおけるモデルバイアスを評価し、有害度によって結果を評価するフレームワークである。
HALFは、以前のベンチマークの成功とデプロイメントの準備の整合性の間に明らかなギャップがあることを示します。
論文 参考訳(メタデータ) (2025-10-14T07:13:26Z) - Person-Centric Annotations of LAION-400M: Auditing Bias and Its Transfer to Models [81.45743826739054]
大きな障壁は、LAION-400MのようなWebスケールデータセットにおける人口統計アノテーションの欠如である。
2億7600万以上のバウンディングボックスや、性別や人種/民族ラベルの認識、キャプションの自動生成など、完全なデータセットのための人中心アノテーションを作成します。
それらを用いて、黒人や中東と見なされる男性や個人と犯罪に関連する負のコンテンツとの不均等な結びつきなど、人口不均衡や有害な関連を明らかにする。
論文 参考訳(メタデータ) (2025-10-04T07:51:59Z) - CCD-Bench: Probing Cultural Conflict in Large Language Model Decision-Making [0.9310318514564272]
大きな言語モデルは、合法的に異なる文化的価値システム間の明示的な衝突をナビゲートすることができる。
CCD-Benchは、文化的価値の対立の下で意思決定を評価するベンチマークである。
CCD-Benchは、孤立バイアス検出以上の評価を多元的意思決定にシフトする。
論文 参考訳(メタデータ) (2025-10-03T22:55:37Z) - Your AI, Not Your View: The Bias of LLMs in Investment Analysis [62.388554963415906]
金融において、Large Language Models (LLMs) は、事前訓練されたパラメトリック知識とリアルタイム市場データとの相違から生じる、頻繁な知識紛争に直面している。
これらの対立は、モデル固有のバイアスが制度的目的と誤認される現実世界の投資サービスにおいて特に問題となる。
本研究では,このような紛争シナリオにおける創発的行動を調べるための実験的枠組みを提案し,投資分析におけるバイアスの定量的分析を行う。
論文 参考訳(メタデータ) (2025-07-28T16:09:38Z) - Revisiting LLM Value Probing Strategies: Are They Robust and Expressive? [81.49470136653665]
広範に利用されている3つの探索戦略における値表現の頑健さと表現性を評価する。
人口統計学的文脈は自由テキスト生成にはほとんど影響を与えず、モデルの値は値に基づく行動の好みと弱い相関しか示さない。
論文 参考訳(メタデータ) (2025-07-17T18:56:41Z) - Robustly Improving LLM Fairness in Realistic Settings via Interpretability [0.16843915833103415]
現実的な文脈の詳細が導入されたとき、アンチバイアスプロンプトは失敗する。
企業名や公的キャリアページからの文化記述などの現実的なコンテキストの追加,選択的な雇用制限は,人種的および性別的偏見を著しく引き起こすことが判明した。
我々の内部バイアス緩和は人種や性別に関連する方向を特定し、推論時にアフィンの概念を編集する。
論文 参考訳(メタデータ) (2025-06-12T17:34:38Z) - My Answer Is NOT 'Fair': Mitigating Social Bias in Vision-Language Models via Fair and Biased Residuals [6.321884145362591]
我々は,モデルの応答と確率分布の両方に対する社会的バイアスの評価と緩和に焦点をあてる。
モデルがジェンダーバイアスや人種バイアスの反応を発生させることに悩まされていることがわかりました。
本稿では,学習自由でモデルに依存しない,社会的偏見を軽減するための推論段階のポストホック手法を提案する。
論文 参考訳(メタデータ) (2025-05-26T15:14:16Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳(メタデータ) (2024-11-05T01:11:28Z) - Large Language Models are Geographically Biased [47.88767211956144]
我々は、地理のレンズを通して、我々の住む世界について、Large Language Models (LLM)が何を知っているかを研究する。
我々は,地理空間予測において,システム的誤りと定義する,様々な問題的地理的バイアスを示す。
論文 参考訳(メタデータ) (2024-02-05T02:32:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。