論文の概要: Assessing Historical Structural Oppression Worldwide via Rule-Guided Prompting of Large Language Models
- arxiv url: http://arxiv.org/abs/2509.15216v1
- Date: Thu, 18 Sep 2025 17:59:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-19 17:26:53.392548
- Title: Assessing Historical Structural Oppression Worldwide via Rule-Guided Prompting of Large Language Models
- Title(参考訳): ルール誘導型大規模言語モデルによる世界規模における歴史的構造抑圧の評価
- Authors: Sreejato Chatterjee, Linh Tran, Quoc Duy Nguyen, Roni Kirson, Drue Hamlin, Harvest Aquino, Hanjia Lyu, Jiebo Luo, Timothy Dye,
- Abstract要約: 我々は,Large Language Models(LLMs)を利用した圧縮測定のための新しいフレームワークを提案する。
我々は、モデルが解釈可能で理論的に基礎付けられた抑圧の推定を生成することを奨励するルール誘導的促進戦略を設計する。
以上の結果から, LLM は, 明示的なルールでガイドされている場合, 国家内における個人性に基づく歴史的抑圧の微妙な形態を捉えることができることが示された。
- 参考スコア(独自算出の注目度): 33.71486941856569
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional efforts to measure historical structural oppression struggle with cross-national validity due to the unique, locally specified histories of exclusion, colonization, and social status in each country, and often have relied on structured indices that privilege material resources while overlooking lived, identity-based exclusion. We introduce a novel framework for oppression measurement that leverages Large Language Models (LLMs) to generate context-sensitive scores of lived historical disadvantage across diverse geopolitical settings. Using unstructured self-identified ethnicity utterances from a multilingual COVID-19 global study, we design rule-guided prompting strategies that encourage models to produce interpretable, theoretically grounded estimations of oppression. We systematically evaluate these strategies across multiple state-of-the-art LLMs. Our results demonstrate that LLMs, when guided by explicit rules, can capture nuanced forms of identity-based historical oppression within nations. This approach provides a complementary measurement tool that highlights dimensions of systemic exclusion, offering a scalable, cross-cultural lens for understanding how oppression manifests in data-driven research and public health contexts. To support reproducible evaluation, we release an open-sourced benchmark dataset for assessing LLMs on oppression measurement (https://github.com/chattergpt/llm-oppression-benchmark).
- Abstract(参考訳): 歴史的構造抑圧闘争を国家間の正当性で測る伝統的な努力は、各国における排他的かつ地域的に特定された排他的歴史、植民地化、社会的地位によって行われ、しばしば、生きたアイデンティティに基づく排他的排除を見下ろしながら、資源を特権的に持つ構造的指標に依存していた。
本稿では,Large Language Models (LLMs) を利用して,多様な地政学的環境における生活史的不利益の文脈に敏感なスコアを生成する,抑圧計測のための新しいフレームワークを提案する。
多言語でのCOVID-19グローバルな研究から得られた、構造化されていない自己識別された民族的発話を用いて、我々は、モデルが解釈可能で理論的に根拠づけられた抑圧の見積もりを生成することを奨励するルール誘導的促進戦略を設計する。
我々は、これらの戦略を複数の最先端LCMにわたって体系的に評価する。
以上の結果から, LLM は, 明示的なルールでガイドされている場合, 国家内における個人性に基づく歴史的抑圧の微妙な形態を捉えることができることが示された。
このアプローチは、データ駆動リサーチや公衆衛生状況における抑圧がどのように現れるかを理解するためのスケーラブルで異文化のレンズを提供する。
再現性評価を支援するため,圧縮測定によるLCMの評価を行うベンチマークデータセット(https://github.com/chattergpt/llm-oppression-benchmark)をオープンソースとして公開した。
関連論文リスト
- Yet another algorithmic bias: A Discursive Analysis of Large Language Models Reinforcing Dominant Discourses on Gender and Race [4.10874761487336]
LLM(Large Language Models)は、様々な文脈において広く使われてきた言語モデルである。
より洗練されたバージョンへと進化するにつれて、差別や人種化といったバイアスを再現するかどうかを評価することが不可欠である。
本研究では,このような手法を補完する定性的・非帰的枠組みを提案する。
論文 参考訳(メタデータ) (2025-08-14T03:22:02Z) - Discovering Bias Associations through Open-Ended LLM Generations [1.7373859011890633]
言語モデル(LLM)に埋め込まれた社会的バイアスは、重大な懸念を引き起こす。
本稿では,Bias Association Discovery Framework(BADF)について紹介する。
本研究は, オープンエンド世代におけるバイアスの理解を促進するとともに, LLMにおけるバイアス関連を識別・解析するためのスケーラブルなツールを提供する。
論文 参考訳(メタデータ) (2025-08-02T15:31:55Z) - A Dual-Layered Evaluation of Geopolitical and Cultural Bias in LLMs [0.6494933736121663]
大規模言語モデル(LLM)は、多種多様な言語や文化の文脈にまたがって展開されている。
モデルバイアス(モデルトレーニングに由来するバイアス)と推論バイアス(クエリの言語によって誘導されるバイアス)の2種類を定義した。
我々は、4つの言語と質問タイプにまたがって、事実と疑わしいQAの両方にまたがる手動でキュレートされたデータセットを構築した。
論文 参考訳(メタデータ) (2025-06-27T03:37:15Z) - Geopolitical biases in LLMs: what are the "good" and the "bad" countries according to contemporary language models [52.00270888041742]
我々は、中立なイベント記述と異なる国からの視点を対比した新しいデータセットを導入する。
以上の結果から,特定の民族的物語のモデルが好まれる,重要な地政学的偏見がみられた。
単純なデバイアスのプロンプトはこれらのバイアスを減らすのに限られた効果があった。
論文 参考訳(メタデータ) (2025-06-07T10:45:17Z) - Comparing LLM Text Annotation Skills: A Study on Human Rights Violations in Social Media Data [2.812898346527047]
本研究では,ロシア語とウクライナ語におけるソーシャルメディア投稿のゼロショットおよび少数ショットアノテーションに対する大規模言語モデル(LLM)の機能について検討した。
これらのモデルの有効性を評価するため、それらのアノテーションは、人間の二重注釈付きラベルのゴールドスタンダードセットと比較される。
この研究は、各モデルが示すエラーと不一致のユニークなパターンを探求し、その強み、制限、言語間適応性に関する洞察を提供する。
論文 参考訳(メタデータ) (2025-05-15T13:10:47Z) - CIVICS: Building a Dataset for Examining Culturally-Informed Values in Large Language Models [59.22460740026037]
大規模言語モデル(LLM)の社会的・文化的変動を評価するためのデータセット「CIVICS:文化インフォームド・バリュース・インクルーシブ・コーパス・フォー・ソシエティ・インパクト」
我々は、LGBTQIの権利、社会福祉、移民、障害権利、代理など、特定の社会的に敏感なトピックに対処する、手作りの多言語プロンプトのデータセットを作成します。
論文 参考訳(メタデータ) (2024-05-22T20:19:10Z) - Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。
既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSoFaをキュレートする。
我々は、言語モデル内のバイアスが認識されるよりもニュアンスが高いことを示し、これまで認識されていたよりもより広く符号化されたバイアスの範囲を示している。
論文 参考訳(メタデータ) (2023-11-15T16:35:59Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。