論文の概要: Whose Assessment of Distress? Community Perspectives and LLM Alignment on Well-Being Posts

• arxiv url: http://arxiv.org/abs/2608.29446v1
• Date: Sat, 29 Aug 2026 21:23:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.960799
• Title: Whose Assessment of Distress? Community Perspectives and LLM Alignment on Well-Being Posts
• Title（参考訳）: 距離の誰が評価するか : コミュニティの視点とウェルビーイングポストにおけるLCMアライメント
• Abstract要約: 大きな言語モデル(LLM)は、通常、単一の、未分化の標準に適合する。 これらのモデルは、どの言語を評価しているコミュニティの視点をどの程度捉えていますか? これらのラベルに対して,9つのオープンウェイトLLM構成と4つのフロンティア構成を評価した。
• 参考スコア（独自算出の注目度）: 4.801119915366712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Judgments about psychological distress are socially situated: what counts as concerning hinges on community norms around emotional expression, vulnerability, and help-seeking. Yet large language models (LLMs) used for distress detection are typically aligned to a single, undifferentiated standard. How well do these models capture the perspectives of the communities whose language they assess? We address this question through a perspectivist annotation study in which 321 participants provided 9,587 judgments on 1,198 Reddit posts spanning six identity-based communities, yielding community-specific labels. Raters in the contextualized in-group condition show a modest tendency to agree more with their community than uncontextualized out-group raters (OR = 1.18), an effect varying significantly across communities. We then evaluate nine open-weight LLM configurations and four frontier configurations against these labels. Open-weight LLMs systematically over-estimate distress: when communities perceive none-to-mild distress, these models achieve only 31-44% accuracy, predominantly producing false positives. GPT-5 and Gemini 2.5 Pro show the same none-to-mild inflation even when their full-sample over/under rates are mixed, while Claude Opus 4 is more conservative. This pattern does not simply mirror an outsider reading position: uncontextualized out-group human aggregates were nearly symmetric, with 18% over-estimation versus 19% under-estimation. Instead, the models that inflate none-to-mild cases exhibit a distress prior that exceeds both contextualized in-group and uncontextualized out-group human judgments. These findings have implications for equitable AI deployment in mental health contexts, where miscalibrated distress detection may unevenly affect the communities being assessed.
• Abstract（参考訳）: 心理的苦痛に関する判断は社会的に位置しており、感情的な表現、脆弱性、ヘルプ・シーキングに関するコミュニティの規範に基づくものと見なされる。 しかし、大きな言語モデル(LLM)は、通常、単一の、未分化の標準に適合する。 これらのモデルは、どの言語を評価しているコミュニティの視点をどの程度捉えていますか? 321名の参加者が6つのアイデンティティベースのコミュニティにまたがる1,198件のReddit投稿に対して,9,587件の判断を下し,コミュニティ固有のラベルを得た。 文脈的内集団状態のラッカーは、文脈的でない外集団ラッカー (OR = 1.18) よりもコミュニティに同意する傾向が緩やかである。 次に、これらのラベルに対して9つのオープンウェイトLLM構成と4つのフロンティア構成を評価した。 オープンウェイト LLM は、体系的に過度に過大評価される悲惨さである: コミュニティが未解決の苦悩を感じたとき、これらのモデルは31-44%の精度しか達成せず、主に偽陽性を生じる。 GPT-5とジェミニ2.5 Proは、フルサンプルのオーバーアンダーレートが混在している場合でも、同じインフレを示す一方、Claude Opus 4はより保守的である。 このパターンは単に外部からの読み上げ位置を反映するものではなく、非コンテクスト化された外集団の人間の骨材はほぼ対称であり、過大評価は18%、過大評価は19%であった。 代わりに、母子間ケースを膨らませるモデルは、文脈化された内集団と非文脈化された外集団の人間の判断を超越した苦悩を示す。 これらの知見は、精神保健状況における公平なAI展開に影響を及ぼす。

関連論文リスト

• SDARE-Bench: Evaluating Large Language Models on Conversational Stigma Detection and Response in Dyadic and Group Dialogue [23.532923483545076]
  SDARE-Benchは,大規模言語モデルにおけるスティグマ検出とオープンエンド応答生成を評価する最初のシナリオベースベンチマークである。 経験的結果は、特にグループ対話において、スティグマ成分の同定が不十分であることを示している。 シュティグマ反応は、特に社会的に複雑な会話の文脈において、繰り返し発生するLLMの安全性の脆弱性であると考えられた。
  論文  参考訳（メタデータ） (2026-09-01T17:15:22Z)
• To Compare, or Not to Compare: On Methodological Practices in Evaluating Social Bias [61.40435736418359]
  異質なベンチマークを標準化する統一的なフレームワークを導入し、孤立した人口統計評価と強制選択比較設定を対比する。 比較設定は、主に不特定文脈によって引き起こされる潜在識別のアグレッシブな触媒として機能することを示す。 最後に、この比較偏見はモデルサイズと正にスケールする一般化された現象であることを示す。
  論文  参考訳（メタデータ） (2026-06-23T13:53:50Z)
• Human-like in-group bias in instruction-tuned language model agents [0.33842793760651557]
  命令調整言語モデルの特性としてのグループコンテンツターゲティング。 相互作用ごとのターゲティングは、永続的ネットワークにおける構造的不平等へと伝播する。
  論文  参考訳（メタデータ） (2026-05-27T08:06:50Z)
• The Oracle's Fingerprint: Correlated AI Forecasting Errors and the Limits of Bias Transmission [0.0]
  GPT-4o, Claude, Gemini は2進予測問題に対して高い相関の予測誤差を示した。 研究2では,この相関バイアスがヒトの群集予測に伝播したかどうかを検証した。 研究3では,人間の予測誤差のカテゴリーレベルのパターンがLLMバイアス指紋に近づきつつあるかを検討した。
  論文  参考訳（メタデータ） (2026-04-07T19:45:40Z)
• Evaluating Alignment of Behavioral Dispositions in LLMs [15.282965130762648]
  社会的文脈における反応を形作る行動配置に着目する。 LLMによって表現される配位が人間の配位とどのように密接に一致しているかを研究するための枠組みを導入する。
  論文  参考訳（メタデータ） (2026-02-11T19:59:12Z)
• Us-vs-Them bias in Large Language Models [0.569978892646475]
  基礎的大言語モデル間で、一貫した内集団陽性および外集団陰性な関連を見いだす。 調査対象者は,保守的ペルソナは対人関係が強く,リベラルなペルソナは対人関係が強かった。
  論文  参考訳（メタデータ） (2025-12-03T07:11:22Z)
• Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
  大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。 故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。 本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:29:36Z)
• Fairness Mediator: Neutralize Stereotype Associations to Mitigate Bias in Large Language Models [66.5536396328527]
  LLMは必然的にトレーニングデータから急激な相関関係を吸収し、偏りのある概念と特定の社会的グループの間のステレオタイプ的関連をもたらす。 ステレオタイプアソシエーションを中和するバイアス緩和フレームワークであるFairness Mediator (FairMed)を提案する。 本フレームワークは, ステレオタイプアソシエーションプローバーと, 対向型デバイアス中和剤の2つの主成分からなる。
  論文  参考訳（メタデータ） (2025-04-10T14:23:06Z)
• The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models [91.86718720024825]
  我々はトランスジェンダー、ノンバイナリ、その他のジェンダー・ディバースのアイデンティティを中心とし、アライメント手順が既存のジェンダー・ディバースバイアスとどのように相互作用するかを検討する。 以上の結果から,DPO対応モデルは特に教師付き微調整に敏感であることが示唆された。 DPOとより広範なアライメントプラクティスに合わせたレコメンデーションで締めくくります。
  論文  参考訳（メタデータ） (2024-11-06T06:50:50Z)
• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
  我々は、ある人口層に対する大きな言語モデルの暗黙の偏見を厳格に評価する。 心理測定の原則にインスパイアされた我々は,3つの攻撃的アプローチ,すなわち,軽視,軽視,指導を提案する。 提案手法は,LLMの内部バイアスを競合ベースラインよりも効果的に引き出すことができる。
  論文  参考訳（メタデータ） (2024-06-20T06:42:08Z)
• Bias Against 93 Stigmatized Groups in Masked Language Models and Downstream Sentiment Classification Tasks [2.5690340428649323]
  本研究は, 社会的汚職に対する偏見を大規模に検討することにより, 現存する作業における偏見評価の焦点を広げるものである。 アメリカ合衆国では、病気、障害、薬物使用、精神疾患、宗教、セクシュアリティ、社会経済的地位、その他の関連要因に関する幅広い条件を含む93のスティグマタイズドグループに焦点を当てている。 英語学習マスケッド言語モデル(MLM)におけるこれらのグループに対するバイアスとその下流感情分類タスクについて検討した。
  論文  参考訳（メタデータ） (2023-06-08T20:46:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。