論文の概要: SDARE-Bench: Evaluating Large Language Models on Conversational Stigma Detection and Response in Dyadic and Group Dialogue

• arxiv url: http://arxiv.org/abs/2609.01548v1
• Date: Tue, 01 Sep 2026 17:15:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.888165
• Title: SDARE-Bench: Evaluating Large Language Models on Conversational Stigma Detection and Response in Dyadic and Group Dialogue
• Title（参考訳）: SDARE-Bench:ダイダイド対話とグループ対話における会話スティグマの検出と応答に関する大規模言語モデルの評価
• Authors: Stephanie Fong, Yiwen Jiang, Zimu Wang, Hongxi Yang, Yaling Shen, Hiu Weh Naomi Chow, Heung Ying Lai, Xiangyu Zhao, Qingyang Xu, Zhongxing Xu, Jiahe Liu, Guilherme C. Oliveira, Vincent Lee, Zongyuan Ge, Dominic Dwyer,
• Abstract要約: SDARE-Benchは,大規模言語モデルにおけるスティグマ検出とオープンエンド応答生成を評価する最初のシナリオベースベンチマークである。 経験的結果は、特にグループ対話において、スティグマ成分の同定が不十分であることを示している。 シュティグマ反応は、特に社会的に複雑な会話の文脈において、繰り返し発生するLLMの安全性の脆弱性であると考えられた。
• 参考スコア（独自算出の注目度）: 23.532923483545076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are increasingly used in advice seeking and decision making that may affect social judgements. Despite stigma's profound effects on people and communities, benchmarks remain scarce. Existing general-domain evaluations typically rely on static prompts and fixed-format tasks, overlooking conversational contexts and audience effects in everyday communication. To address these gaps, we introduce SDARE-Bench, the first scenario-based benchmark evaluating both stigma detection and open-ended response generation in LLMs, comprising 1,138 dyadic queries and 1,388 group dialogue. Empirical results across 8 LLMs consistently demonstrate poor identification of stigma components, especially in group dialogues. In open-ended response generation, stigma expression was substantially higher in group settings than in dyadic, with weaker resistance to stigma and more unrealistic advice. Responses were evaluated using a classifier trained on 1,392 human annotated responses. In constructed group pressure settings, stigma expression rates further increased to a striking average of 97.5%. Our findings identify stigma response as a recurring LLM safety vulnerability, especially in socially complex conversational contexts.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、社会的判断に影響を及ぼす可能性のある助言や意思決定にますます使われる。 スティグマが人やコミュニティに深く影響しているにもかかわらず、ベンチマークは依然として乏しい。 既存の一般的なドメイン評価は、通常、静的なプロンプトと固定形式のタスクに依存し、日常的なコミュニケーションにおける会話のコンテキストやオーディエンスの影響を見渡す。 SDARE-Benchは1,138のダイアドクエリと1,388のグループダイアログからなるLSMにおけるスティグマ検出とオープンエンド応答生成の両方を評価する最初のシナリオベースベンチマークである。 8個のLDMにまたがる実験結果は、特にグループ対話において、スティグマ成分の同定が不十分であることを一貫して示している。 オープンエンド応答生成では, グループ設定において, スティグマはダイアドよりも有意に高い値を示し, スティグマに対する抵抗性は弱く, 非現実的アドバイスも弱かった。 1,392人のアノテート反応を訓練した分類器を用いて応答を評価した。 構成群圧設定では、スティグマ発現率は97.5%まで上昇した。 シュティグマ反応は、特に社会的に複雑な会話の文脈において、繰り返し発生するLLMの安全性の脆弱性であると考えられた。

関連論文リスト

• Whose Assessment of Distress? Community Perspectives and LLM Alignment on Well-Being Posts [4.801119915366712]
  大きな言語モデル(LLM)は、通常、単一の、未分化の標準に適合する。 これらのモデルは、どの言語を評価しているコミュニティの視点をどの程度捉えていますか? これらのラベルに対して,9つのオープンウェイトLLM構成と4つのフロンティア構成を評価した。
  論文  参考訳（メタデータ） (2026-08-29T21:23:57Z)
• Not What, But How: A Framework for Auditing LLM Responses across Positioning, Generalization, Anthromorphism, and Maxims [54.31707479192195]
  大規模言語モデル(LLM)は、主観的、情報探索的な疑問に答えるためにますます使われている。 既存の主観的文化的クエリの評価は、応答のフレーム化を無視して、事実の正しさに重点を置いている。 FRANZ(FRAmework for respoNse characteriZation)を導入し、4次元のLLM応答のコミュニケーション監査を行う。
  論文  参考訳（メタデータ） (2026-06-01T17:01:31Z)
• Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
  大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。 故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。 本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:29:36Z)
• Prompt Perturbations Reveal Human-Like Biases in Large Language Model Survey Responses [2.3112192919085826]
  大規模言語モデル (LLMs) は、社会科学調査において、人間の被験者のプロキシとしてますます使われている。 既知のヒトのような反応バイアスに対する信頼性と感受性は理解されていない。 本研究は, 標準調査文脈におけるLCMの応答ロバスト性について検討する。
  論文  参考訳（メタデータ） (2025-07-09T18:01:50Z)
• Information Anxiety in Large Language Models [21.574677910096735]
  大規模言語モデル(LLM)は知識リポジトリとして高いパフォーマンスを示している。 本研究は, LLMの内部推論と検索機構を包括的に分析することにより, さらなる調査を行う。 我々の研究は、エンティティの人気の影響、クエリの定式化における語彙変化に対するモデルの感度、隠された状態表現の進行という3つの重要な側面に焦点を当てている。
  論文  参考訳（メタデータ） (2024-11-16T14:28:33Z)
• Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models [51.75805497456226]
  本研究は,対話要約タスクの助けを借りて,事実整合性の問題に焦点を当てる。 評価の結果,LLMが生成する要約の26.8%が事実整合性を含んでいることがわかった。 LLMの対話理解能力を高めるために,自動構築マルチタスクデータを用いた微調整パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-13T09:32:12Z)
• RICA: Evaluating Robust Inference Capabilities Based on Commonsense Axioms [41.82685006832153]
  我々は,Commonsense Axiomsに基づくロバスト推論機能であるRICAを提案する。 我々は,コモンセンス知識ベースを用いて,この課題のためのデータを生成し,2つの異なる評価設定でPTLMを探索する。 実験により、PTLMはゼロショット設定でのランダムな推測に勝らず、統計的バイアスに大きく影響し、摂動攻撃に対して堅牢ではないことが示された。
  論文  参考訳（メタデータ） (2020-05-02T10:36:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。