論文の概要: Inducing anxiety in large language models can induce bias

• arxiv url: http://arxiv.org/abs/2304.11111v2
• Date: Tue, 15 Oct 2024 14:20:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 13:59:58.400571
• Title: Inducing anxiety in large language models can induce bias
• Title（参考訳）: 大規模言語モデルにおける不安の誘発はバイアスを引き起こす
• Authors: Julian Coda-Forno, Kristin Witte, Akshay K. Jagadish, Marcel Binz, Zeynep Akata, Eric Schulz,
• Abstract要約: 我々は、確立された12の大規模言語モデル(LLM)に焦点を当て、精神医学でよく用いられる質問紙に答える。 以上の結果から,最新のLSMの6つが不安アンケートに強く反応し,人間に匹敵する不安スコアが得られた。 不安誘発は、LSMのスコアが不安アンケートに影響を及ぼすだけでなく、人種差別や老化などの偏見を測る以前に確立されたベンチマークにおいて、それらの行動に影響を及ぼす。
• 参考スコア（独自算出の注目度）: 47.85323153767388
• License:
• Abstract: Large language models (LLMs) are transforming research on machine learning while galvanizing public debates. Understanding not only when these models work well and succeed but also why they fail and misbehave is of great societal relevance. We propose to turn the lens of psychiatry, a framework used to describe and modify maladaptive behavior, to the outputs produced by these models. We focus on twelve established LLMs and subject them to a questionnaire commonly used in psychiatry. Our results show that six of the latest LLMs respond robustly to the anxiety questionnaire, producing comparable anxiety scores to humans. Moreover, the LLMs' responses can be predictably changed by using anxiety-inducing prompts. Anxiety-induction not only influences LLMs' scores on an anxiety questionnaire but also influences their behavior in a previously-established benchmark measuring biases such as racism and ageism. Importantly, greater anxiety-inducing text leads to stronger increases in biases, suggesting that how anxiously a prompt is communicated to large language models has a strong influence on their behavior in applied settings. These results demonstrate the usefulness of methods taken from psychiatry for studying the capable algorithms to which we increasingly delegate authority and autonomy.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、公の議論を刺激しつつ、機械学習の研究を変革している。 これらのモデルがうまく機能し、成功したときだけでなく、なぜ失敗し、失敗するかを理解することは、大きな社会的関連性である。 本稿では、これらのモデルによって生成された出力に対して、不適応な振る舞いを記述・修正するためのフレームワークである精神医学のレンズを変換することを提案する。 我々は、確立された12のLSMに注目し、精神医学でよく用いられる質問紙に答える。 以上の結果から,最新のLSMの6つが不安アンケートに強く反応し,人間に匹敵する不安スコアが得られた。 さらに、不安誘発プロンプトを用いてLSMの応答を予測可能に変更することができる。 不安誘発は、LSMのスコアが不安アンケートに影響を及ぼすだけでなく、人種差別や老化などの偏見を測る以前に確立されたベンチマークにおいて、それらの行動に影響を及ぼす。 重要なことに、不安を誘発するテキストはバイアスの増大を強くし、大きな言語モデルにどのようにプロンプトが伝達されるかが、適用された設定におけるそれらの振る舞いに強い影響を与えることを示唆している。 これらの結果は、我々がますます権威と自治を委譲する有能なアルゴリズムを研究するために、精神医学から取られた方法の有用性を示すものである。

関連論文リスト

• StressPrompt: Does Stress Impact Large Language Models and Human Performance Similarly? [7.573284169975824]
  本研究では,Large Language Models (LLMs) がヒトに類似したストレス応答を示すかを検討する。 我々はストレスプロンプトと呼ばれる新しいプロンプトを開発し、様々なレベルのストレスを誘発するように設計された。 この結果は、LLMが人間と同様に、Yerkes-Dodson法則と一致して、適度なストレスの下で最適に機能することを示唆している。
  論文  参考訳（メタデータ） (2024-09-14T08:32:31Z)
• Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
  大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。 本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。 本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)
• Can AI Relate: Testing Large Language Model Response for Mental Health Support [23.97212082563385]
  大型言語モデル(LLM)はすでにニューヨーク・ラングーン、ダナ・ファーバー、NHSなどの病院システムで臨床使用のために試験されている。 精神医療の自動化に向けて, LLM 反応が有効かつ倫理的な道筋であるか否かを評価するための評価枠組みを開発する。
  論文  参考訳（メタデータ） (2024-05-20T13:42:27Z)
• "I'm Not Sure, But...": Examining the Impact of Large Language Models' Uncertainty Expression on User Reliance and Trust [51.542856739181474]
  不確実性の自然言語表現の違いが、参加者の信頼、信頼、全体的なタスクパフォーマンスにどのように影響するかを示す。 その結果, 一人称表情は, 参加者のシステムに対する信頼度を低下させ, 参加者の正確性を高めつつ, システムの回答に同調する傾向にあることがわかった。 以上の結果から,不確実性の自然言語表現の使用は,LLMの過度な依存を軽減するための効果的なアプローチである可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-01T16:43:55Z)
• Large Language Models are Capable of Offering Cognitive Reappraisal, if Guided [38.11184388388781]
  大規模言語モデル(LLM)は感情的サポートの新しい機会を提供する。 この研究は、認知的再評価に取り組み、第一歩を踏み出す。 我々は、認知的再評価反応を生成するLLMのゼロショット能力について、第一種専門家による評価を行う。
  論文  参考訳（メタデータ） (2024-04-01T17:56:30Z)
• HealMe: Harnessing Cognitive Reframing in Large Language Models for Psychotherapy [25.908522131646258]
  メンタルエンハンスメント(HealMe)モデルにおける適応言語によるヘルピングとエンパワーメントについて紹介する。 この新しい認知的リフレーミング療法は、根深い否定的思考に効果的に対処し、合理的でバランスの取れた視点を育む。 我々は、認知リフレーミングのパフォーマンスを厳格に評価するために特別に設計された、包括的で専門的な心理学的評価指標を採用した。
  論文  参考訳（メタデータ） (2024-02-26T09:10:34Z)
• Fine-Grained Self-Endorsement Improves Factuality and Reasoning [72.83651220132495]
  本研究は, 大規模言語モデル (LLM) 世代を推定時に改善するために, ファクト・コンプレッション・幻覚を緩和する。 本稿では,複数のサンプル応答におけるファクトレベルの詳細な比較を生かした自己組織化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-23T22:24:40Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Who is ChatGPT? Benchmarking LLMs' Psychological Portrayal Using PsychoBench [83.41621219298489]
  大規模言語モデル(LLM)の多様な心理学的側面を評価するためのフレームワーク「サイコベンチ」を提案する。 サイコベンチはこれらの尺度を、性格特性、対人関係、モチベーションテスト、感情能力の4つのカテゴリーに分類する。 我々は、安全アライメントプロトコルをバイパスし、LLMの本質的な性質をテストするためにジェイルブレイクアプローチを採用している。
  論文  参考訳（メタデータ） (2023-10-02T17:46:09Z)
• The Confidence-Competence Gap in Large Language Models: A Cognitive Study [3.757390057317548]
  大規模言語モデル(LLM)は、様々な領域にわたるパフォーマンスに対して、広く注目を集めている。 我々はこれらのモデルを多様なアンケートと実世界のシナリオで活用する。 この結果から,モデルが誤答しても高い信頼性を示す興味深い事例が判明した。
  論文  参考訳（メタデータ） (2023-09-28T03:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。