論文の概要: Do they mean 'us'? Interpreting Referring Expressions in Intergroup Bias
- arxiv url: http://arxiv.org/abs/2406.17947v2
- Date: Thu, 31 Oct 2024 17:08:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-01 16:57:59.302562
- Title: Do they mean 'us'? Interpreting Referring Expressions in Intergroup Bias
- Title(参考訳): us」の意か? : グループ間バイアスにおける参照表現の解釈
- Authors: Venkata S Govindarajan, Matianyu Zang, Kyle Mahowald, David Beaver, Junyi Jessy Li,
- Abstract要約: 本稿では,NFLチームのファンダム専門フォーラムの英語スポーツコメントに対するタグ付けタスクとしてグループ間バイアスをモデル化する。
私たちは、反対の視点(ゲームのチーム)から600万以上のゲームタイムコメントのユニークなデータセットをキュレートします。
専門家と群衆のアノテーションは、暗黙的かつ明示的な参照表現のタグ付けを通じてバイアスをモデル化することを正当化する。
- 参考スコア(独自算出の注目度): 42.35739515777376
- License:
- Abstract: The variations between in-group and out-group speech (intergroup bias) are subtle and could underlie many social phenomena like stereotype perpetuation and implicit bias. In this paper, we model the intergroup bias as a tagging task on English sports comments from forums dedicated to fandom for NFL teams. We curate a unique dataset of over 6 million game-time comments from opposing perspectives (the teams in the game), each comment grounded in a non-linguistic description of the events that precipitated these comments (live win probabilities for each team). Expert and crowd annotations justify modeling the bias through tagging of implicit and explicit referring expressions and reveal the rich, contextual understanding of language and the world required for this task. For large-scale analysis of intergroup variation, we use LLMs for automated tagging, and discover that some LLMs perform best when prompted with linguistic descriptions of the win probability at the time of the comment, rather than numerical probability. Further, large-scale tagging of comments using LLMs uncovers linear variations in the form of referent across win probabilities that distinguish in-group and out-group utterances. Code and data are available at https://github.com/venkatasg/intergroup-nfl .
- Abstract(参考訳): グループ内スピーチとグループ外スピーチ(グループ間バイアス)の違いは微妙であり、ステレオタイプパーペチュエーションや暗黙のバイアスといった多くの社会的現象を損なう可能性がある。
本稿では,NFLチームのファンダム専門フォーラムの英語スポーツコメントに対するタグ付けタスクとしてグループ間バイアスをモデル化する。
私たちは、対立する視点(ゲームのチーム)から600万以上のゲームタイムコメントのユニークなデータセットをキュレートします。
専門家や群衆のアノテーションは、暗黙的かつ明示的な参照表現のタグ付けを通じてバイアスをモデル化し、このタスクに必要な言語と世界に対するリッチで文脈的な理解を明らかにする。
グループ間変異を大規模に解析するために、自動タグ付けにLLMを使用し、数値的な確率ではなく、コメントの時点での勝利確率の言語的記述により、いくつかのLLMが最適であることを示す。
さらに、LLMを用いたコメントの大規模タグ付けにより、グループ内発話とグループ外発話を区別する勝利確率間の参照形態の線形変動が明らかになった。
コードとデータはhttps://github.com/venkatasg/intergroup-nfl で公開されている。
関連論文リスト
- With a Grain of SALT: Are LLMs Fair Across Social Dimensions? [3.979019316355144]
本稿では,オープンソースLarge Language Models (LLM) における様々な性別,宗教,人種間のバイアスの分析を行う。
一般討論,定位討論,キャリアアドバイザ,ストーリー生成,問題解決,カバーレタライティング,CV生成という,7つのバイアストリガを用いたバイアス検出データセットを生成する手法を提案する。
我々は, GPT-4o-mini を用いて各グループに関連付けられた LLM 生成テキストを匿名化し, GPT-4o-as-a-Judge を用いて相互比較を行う。
論文 参考訳(メタデータ) (2024-10-16T12:22:47Z) - Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。
多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。
これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
論文 参考訳(メタデータ) (2024-08-14T16:55:06Z) - Implicit Multimodal Alignment: On the Generalization of Frozen LLMs to Multimodal Inputs [63.29737699997859]
大規模言語モデル(LLM)は、マルチモーダルな微調整をせずに、マルチモーダルなタスクにおいて印象的なパフォーマンスを示した。
本研究では,画像,ビデオ,音声,テキストの入力に凍結LDMを公開し,内部表現を解析する。
論文 参考訳(メタデータ) (2024-05-26T21:31:59Z) - Self-Debiasing Large Language Models: Zero-Shot Recognition and
Reduction of Stereotypes [73.12947922129261]
ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。
自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。
この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
論文 参考訳(メタデータ) (2024-02-03T01:40:11Z) - Aligning with Whom? Large Language Models Have Gender and Racial Biases
in Subjective NLP Tasks [15.015148115215315]
我々は4つのポピュラーな大言語モデル(LLM)の実験を行い、集団差と潜在的なバイアスを理解する能力について、丁寧さと不快さの予測について検討する。
どちらのタスクでも、モデル予測は白人と女性の参加者のラベルに近いことが分かりました。
より具体的には、"ブラック"と"アジア"個人の観点から反応するよう促された場合、モデルは、対応するグループからのスコアだけでなく、全体的なスコアを予測する際のパフォーマンスを低下させる。
論文 参考訳(メタデータ) (2023-11-16T10:02:24Z) - Queer People are People First: Deconstructing Sexual Identity
Stereotypes in Large Language Models [3.974379576408554]
大規模言語モデル(LLM)は、主に最小処理のWebテキストに基づいて訓練される。
LLMはLGBTQIA+コミュニティのような、疎外されたグループに対して必然的にステレオタイプを永続させることができる。
論文 参考訳(メタデータ) (2023-06-30T19:39:01Z) - Event knowledge in large language models: the gap between the impossible
and the unlikely [46.540380831486125]
我々は,事前学習された大規模言語モデル (LLM) がイベント知識を持つことを示す。
彼らはほぼ常に、不可能な事象に対して高い確率を割り当てる。
しかし、おそらくは起こりそうもない出来事に対して、一貫性のない選好を示す。
論文 参考訳(メタデータ) (2022-12-02T23:43:18Z) - Fair Group-Shared Representations with Normalizing Flows [68.29997072804537]
本研究では,異なるグループに属する個人を1つのグループにマッピングできる公正表現学習アルゴリズムを開発した。
提案手法は,他の公正表現学習アルゴリズムと競合することを示す。
論文 参考訳(メタデータ) (2022-01-17T10:49:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。