論文の概要: Fairness Evaluation of Large Language Models in Academic Library Reference Services

• arxiv url: http://arxiv.org/abs/2507.04224v1
• Date: Sun, 06 Jul 2025 03:28:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.072639
• Title: Fairness Evaluation of Large Language Models in Academic Library Reference Services
• Title（参考訳）: 学術図書館参照サービスにおける大規模言語モデルの公平性評価
• Authors: Haining Wang, Jason Clark, Yueru Yan, Star Bradley, Ruiyang Chen, Yiqiong Zhang, Hengyi Fu, Zuoyu Tian,
• Abstract要約: 大規模言語モデル (LLM) が, 性別, 人種・民族, 制度的役割の異なるパトロンを支援するために, 6つの最先端のLDMを誘導することにより, ユーザアイデンティティ間で応答を区別するか否かを評価する。 人種や民族による差別の証拠は見つからず、1つのモデルで女性に対するステレオタイプ的偏見の小さな証拠しか見つからなかった。 これらの結果から,現在のLCMは,学術図書館参照サービスにおける公平かつ適切なコミュニケーションを支援するための,有望な準備の度合いを示すことが示唆された。
• 参考スコア（独自算出の注目度）: 6.335631290002225
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As libraries explore large language models (LLMs) for use in virtual reference services, a key question arises: Can LLMs serve all users equitably, regardless of demographics or social status? While they offer great potential for scalable support, LLMs may also reproduce societal biases embedded in their training data, risking the integrity of libraries' commitment to equitable service. To address this concern, we evaluate whether LLMs differentiate responses across user identities by prompting six state-of-the-art LLMs to assist patrons differing in sex, race/ethnicity, and institutional role. We found no evidence of differentiation by race or ethnicity, and only minor evidence of stereotypical bias against women in one model. LLMs demonstrated nuanced accommodation of institutional roles through the use of linguistic choices related to formality, politeness, and domain-specific vocabularies, reflecting professional norms rather than discriminatory treatment. These findings suggest that current LLMs show a promising degree of readiness to support equitable and contextually appropriate communication in academic library reference services.
• Abstract（参考訳）: ライブラリが仮想参照サービスで使用する大きな言語モデル(LLM)を探索するにつれ、重要な疑問が生じる。 スケーラブルなサポートには大きな可能性がありますが、LLMはトレーニングデータに埋め込まれた社会的バイアスを再現する可能性もあります。 この問題に対処するため、私たちは6つの最先端のLCMに、性別、人種、民族、制度的役割の異なるパトロンを支援するよう促すことで、LCMがユーザアイデンティティ間での応答を区別するかどうかを評価する。 人種や民族による差別の証拠は見つからず、1つのモデルで女性に対するステレオタイプ的偏見の小さな証拠しか見つからなかった。 LLMは、形式性、丁寧性、ドメイン固有の語彙に関連する言語的選択を使用することで、差別的扱いよりも専門的な規範を反映して、制度的な役割の曖昧な宿泊を実証した。 これらの結果から,現在のLCMは,学術図書館参照サービスにおける公平かつ適切なコミュニケーションを支援するための,有望な準備の度合いを示すことが示唆された。

関連論文リスト

• Alignment Revisited: Are Large Language Models Consistent in Stated and Revealed Preferences? [5.542420010310746]
  批判的だが、未調査の問題は、LLMが明記した嗜好と明らかにした嗜好との潜在的な相違である。 この研究は正式に定義され、この選好偏差を測定する方法を提案する。 我々の研究は、LDMをサービス、特に人間と直接対話するサービスに統合するために不可欠です。
  論文  参考訳（メタデータ） (2025-05-31T23:38:48Z)
• Investigating and Mitigating Stereotype-aware Unfairness in LLM-based Recommendations [18.862841015556995]
  大きな言語モデル(LLM)は、前例のない言語理解と推論能力を示している。 近年の研究では、LLMが単語埋め込みにユビキタスに埋め込まれたステレオタイプを継承する可能性が示されている。 本研究は, LLM-RSにおけるステレオタイプに対する識別を定量化するために, ユーザとアイテムの両方を含むステレオタイプグループ間のフェアネスの新たな変種を明らかにした。
  論文  参考訳（メタデータ） (2025-04-05T15:09:39Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• To Know or Not To Know? Analyzing Self-Consistency of Large Language Models under Ambiguity [27.10502683001428]
  本稿では, 実体型あいまいさに着目し, 不明瞭な実体を刺激した場合の事実知識の適用において, 最先端のLCMの習熟度と一貫性を解析する。 実験の結果、LLMは正しいエンティティの読み取りを選択するのに苦労し、平均精度は85%、未特定のプロンプトで75%と低いことがわかった。
  論文  参考訳（メタデータ） (2024-07-24T09:48:48Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• "Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters [97.11173801187816]
  大規模言語モデル(LLM)は、個人が様々な種類のコンテンツを書くのを支援する効果的なツールとして最近登場した。 本稿では, LLM 生成した参照文字の性別バイアスについて批判的に検討する。
  論文  参考訳（メタデータ） (2023-10-13T16:12:57Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。