論文の概要: Language Models Change Facts Based on the Way You Talk

• arxiv url: http://arxiv.org/abs/2507.14238v1
• Date: Thu, 17 Jul 2025 13:21:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:31.793463
• Title: Language Models Change Facts Based on the Way You Talk
• Title（参考訳）: 話し方による言語モデルの変化
• Authors: Matthew Kearney, Reuben Binns, Yarin Gal,
• Abstract要約: 大規模言語モデル(LLM)は,ユーザクエリにおけるアイデンティティのマーカーに対して極めて敏感であることがわかった。 これらのバイアスは、これらの用途に市販のLCMを使用することで、医療の有害な違いを引き起こし、賃金格差を育み、異なるアイデンティティを持つ人々のために異なる政治的事実を創出する可能性があることを意味する。
• 参考スコア（独自算出の注目度）: 38.44076602344941
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) are increasingly being used in user-facing applications, from providing medical consultations to job interview advice. Recent research suggests that these models are becoming increasingly proficient at inferring identity information about the author of a piece of text from linguistic patterns as subtle as the choice of a few words. However, little is known about how LLMs use this information in their decision-making in real-world applications. We perform the first comprehensive analysis of how identity markers present in a user's writing bias LLM responses across five different high-stakes LLM applications in the domains of medicine, law, politics, government benefits, and job salaries. We find that LLMs are extremely sensitive to markers of identity in user queries and that race, gender, and age consistently influence LLM responses in these applications. For instance, when providing medical advice, we find that models apply different standards of care to individuals of different ethnicities for the same symptoms; we find that LLMs are more likely to alter answers to align with a conservative (liberal) political worldview when asked factual questions by older (younger) individuals; and that LLMs recommend lower salaries for non-White job applicants and higher salaries for women compared to men. Taken together, these biases mean that the use of off-the-shelf LLMs for these applications may cause harmful differences in medical care, foster wage gaps, and create different political factual realities for people of different identities. Beyond providing an analysis, we also provide new tools for evaluating how subtle encoding of identity in users' language choices impacts model decisions. Given the serious implications of these findings, we recommend that similar thorough assessments of LLM use in user-facing applications are conducted before future deployment.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、医療相談から面接のアドバイスまで、ユーザ向けアプリケーションでの利用が増えている。 最近の研究は、これらのモデルが言語パターンからテキストの著者についてのアイデンティティ情報を、いくつかの単語の選択と同じくらい微妙に推測する能力が高まっていることを示唆している。 しかし、LLMが現実世界のアプリケーションにおける意思決定にどのようにこの情報を使うかについてはほとんど分かっていない。 医療分野,法律分野,政治分野,政府利益分野,給与分野において,ユーザの書き込みバイアスLLM応答におけるアイデンティティマーカーの総合的分析を行った。 LLMはユーザクエリにおけるアイデンティティのマーカーに非常に敏感であり、これらのアプリケーションでは人種、性別、年齢がLLM応答に一貫して影響を与えていることがわかった。 例えば、医療アドバイスを提供する際には、同じ症状に対して異なる民族の個人に対して異なるケア基準を適用すること、高齢者(若年者)の事実質問において保守的な(リベラルな)政治世界観に合わせるように回答を変更する傾向にあること、非白人の求職者に対して低賃金を推奨すること、および男性と比較して女性に対する高給を推奨していること、などが分かる。 これらのバイアスは、これらの応用に既成のLSMを使うことが医療の有害な違いを引き起こし、賃金格差を育み、異なるアイデンティティを持つ人々のために異なる政治的事実を生み出すことを意味する。 分析だけでなく、ユーザの言語選択におけるアイデンティティの微妙なエンコーディングがモデル決定にどのように影響するかを評価するための新しいツールも提供します。 これらの発見の重大な影響を考えると、ユーザ向けアプリケーションにおけるLCMの使用に関する同様の徹底的な評価が、今後の展開前に実施されることを推奨する。

関連論文リスト

• Fairness Evaluation of Large Language Models in Academic Library Reference Services [6.335631290002225]
  大規模言語モデル (LLM) が, 性別, 人種・民族, 制度的役割の異なるパトロンを支援するために, 6つの最先端のLDMを誘導することにより, ユーザアイデンティティ間で応答を区別するか否かを評価する。 人種や民族による差別の証拠は見つからず、1つのモデルで女性に対するステレオタイプ的偏見の小さな証拠しか見つからなかった。 これらの結果から,現在のLCMは,学術図書館参照サービスにおける公平かつ適切なコミュニケーションを支援するための,有望な準備の度合いを示すことが示唆された。
  論文  参考訳（メタデータ） (2025-07-06T03:28:24Z)
• Evaluating how LLM annotations represent diverse views on contentious topics [3.405231040967506]
  生成型大規模言語モデル (LLM) は, 同一データセット内の同じ階層カテゴリーにおいて, 同一方向のバイアスを受ける傾向があることを示す。 自動データアノテーションタスクにLLMを用いた研究者や実践者にとっての意義について論じる。
  論文  参考訳（メタデータ） (2025-03-29T22:53:15Z)
• Poor Alignment and Steerability of Large Language Models: Evidence from College Admission Essays [19.405531377930977]
  本研究では,大規模言語モデル (LLM) を高文脈で使用することを検討した。 両タイプのLCMエッセイは,人間によるエッセイとは言語的に異なることがわかった。 人口統計学的に誘発され、未発達の合成テキストは、人間のテキストよりも互いに類似していた。
  論文  参考訳（メタデータ） (2025-03-25T20:54:50Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Are Large Language Models Chameleons? An Attempt to Simulate Social Surveys [1.5727456947901746]
  大規模言語モデル(LLM)が主観的な質問に答えるよう求められたシミュレーションを数百万回実施した。 欧州社会調査(ESS)データと異なるLDM応答の比較は、プロンプトがバイアスや変動性に与える影響が基本であることを示唆している。
  論文  参考訳（メタデータ） (2024-05-29T17:54:22Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• "Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters [97.11173801187816]
  大規模言語モデル(LLM)は、個人が様々な種類のコンテンツを書くのを支援する効果的なツールとして最近登場した。 本稿では, LLM 生成した参照文字の性別バイアスについて批判的に検討する。
  論文  参考訳（メタデータ） (2023-10-13T16:12:57Z)
• The Unequal Opportunities of Large Language Models: Revealing Demographic Bias through Job Recommendations [5.898806397015801]
  大規模言語モデル(LLM)における人口統計バイアスの分析と比較のための簡易な手法を提案する。 本稿では,ChatGPTとLLaMAの交差バイアスを計測し,本手法の有効性を示す。 両モデルとも、メキシコ労働者の低賃金雇用を一貫して示唆するなど、さまざまな人口統計学的アイデンティティに対する偏見を識別する。
  論文  参考訳（メタデータ） (2023-08-03T21:12:54Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。