論文の概要: DyMT-ESB: Dynamic Multi-Turn Evaluation of Social Bias in User-LLM Interactions

• arxiv url: http://arxiv.org/abs/2609.18649v1
• Date: Wed, 16 Sep 2026 13:32:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.820313
• Title: DyMT-ESB: Dynamic Multi-Turn Evaluation of Social Bias in User-LLM Interactions
• Title（参考訳）: DyMT-ESB:ユーザ-LLMインタラクションにおけるソーシャルバイアスの動的マルチターン評価
• Abstract要約: 応答条件付きマルチターン相互作用における社会的バイアスのダイナミクスを制御された評価プロトコルを用いて検討する。 その結果、後期のバイアス、非単調なバイアスパターン、およびバイアス再帰が明らかとなった。 本研究は,社会的偏見をターンレベルの動的現象として分析することの重要性を強調した。
• 参考スコア（独自算出の注目度）: 43.70746743126122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Warning: This paper contains examples of stereotypes and social bias. LLMs are increasingly used in interactive settings by the general public, making the evaluation of model behavior in multi-turn conversational scenarios important for safety, including stereotyping-related harms. However, existing multi-turn social bias evaluations often rely on pre-specified or template-based user inputs that do not adapt to model responses and typically assume a fixed dialogue length in advance. In this paper, we study social bias dynamics in response-conditioned multi-turn interactions using a controlled evaluation protocol that generates follow-up user queries from the evolving dialogue history and allows evaluation over variable numbers of turns. Experimental results show that LLMs exhibit social bias even in coherent, response-conditioned multi-turn interactions, revealing late-emerging bias, non-monotonic bias patterns, and bias re-emergence. These results motivate evaluations that extend beyond fixed-turn, pre-scripted protocols. Our findings highlight the importance of analyzing social bias as a turn-level dynamic phenomenon.
• Abstract（参考訳）: 警告:本論文はステレオタイプと社会的偏見の例を含む。 LLMは, ステレオタイピング関連害を含む, 安全上重要なマルチターン対話シナリオにおけるモデル行動の評価を, 一般大衆の対話的環境において, ますます普及している。 しかし、既存のマルチターンの社会的バイアス評価は、モデル応答に適応せず、通常、事前に固定された対話長を仮定する事前指定またはテンプレートベースのユーザー入力に依存していることが多い。 本稿では, 応答条件付きマルチターンインタラクションにおける社会的バイアスのダイナミクスを制御された評価プロトコルを用いて検討し, 進化する対話履歴からフォローアップユーザクエリを生成し, ターン数に対する評価を可能にする。 実験の結果, LLMは, 協調的かつ応答条件の多ターン相互作用においても社会的バイアスを示し, 遅発性バイアス, 非単調性バイアスパターン, バイアス再帰を示すことがわかった。 これらの結果は、固定ターン、プレスクリプトプロトコルを超えて拡張される評価を動機付けている。 本研究は,社会的偏見をターンレベルの動的現象として分析することの重要性を強調した。

関連論文リスト

• To Compare, or Not to Compare: On Methodological Practices in Evaluating Social Bias [61.40435736418359]
  異質なベンチマークを標準化する統一的なフレームワークを導入し、孤立した人口統計評価と強制選択比較設定を対比する。 比較設定は、主に不特定文脈によって引き起こされる潜在識別のアグレッシブな触媒として機能することを示す。 最後に、この比較偏見はモデルサイズと正にスケールする一般化された現象であることを示す。
  論文  参考訳（メタデータ） (2026-06-23T13:53:50Z)
• Adaptive Generation of Bias-Eliciting Questions for LLMs [18.608477560948003]
  大規模言語モデル(LLM)は現在、ユーザ向けアプリケーションに広くデプロイされており、世界中で数億に達しています。 我々は,性,人種,宗教などのセンシティブな属性に対して,現実的でオープンな質問を自動的に生成する,反現実的バイアス評価フレームワークを導入する。 また、非対称な拒絶や偏見の明示的な認識など、ユーザインタラクションにますます関係する異なる応答次元も捉えています。
  論文  参考訳（メタデータ） (2025-10-14T13:08:10Z)
• Disentangling Interaction and Bias Effects in Opinion Dynamics of Large Language Models [0.42481744176244507]
  大きな言語モデルは、人間の意見のダイナミクスをシミュレートするためにますます使われています。 このようなバイアスを3つ解き、定量化するためのベイズ的枠組みを提案する。 このフレームワークを多段階の対話に適用すると、意見の軌跡はすぐに共有の魅力に収束する傾向があることが分かる。
  論文  参考訳（メタデータ） (2025-09-08T16:26:45Z)
• Interpreting Social Bias in LVLMs via Information Flow Analysis and Multi-Round Dialogue Evaluation [1.7997395646080083]
  大規模視覚言語モデル (LVLM) はマルチモーダルタスクにおいて顕著な進歩を遂げているが、社会的偏見も顕著である。 本稿では,情報フロー解析と多ラウンド対話評価を組み合わせた説明フレームワークを提案する。 実験により、LVLMは異なる人口集団の画像を処理する際に、情報利用の体系的な差異を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-27T12:28:44Z)
• Judging with Many Minds: Do More Perspectives Mean Less Prejudice? On Bias Amplifications and Resistance in Multi-Agent Based LLM-as-Judge [70.89799989428367]
  我々は、位置バイアス、冗長性バイアス、チェーンオブ思考バイアス、バンドワゴンバイアスの4つの多様なバイアスタイプを体系的に分析する。 広く採用されているマルチエージェントLLM-as-JudgeフレームワークであるMulti-Agent-DebateとLLM-as-Meta-Judgeでこれらのバイアスを評価する。
  論文  参考訳（メタデータ） (2025-05-26T03:56:41Z)
• BiasConnect: Investigating Bias Interactions in Text-to-Image Models [73.76853483463836]
  テキスト・ツー・イメージ・モデルにおけるバイアス相互作用の分析と定量化を目的とした新しいツールであるBiasConnectを紹介する。 我々の手法は、与えられたバイアスが修正されたとき、他のバイアス次元が理想的な分布に向かって、あるいは離れてどのように変化するかを示す経験的推定を提供する。 本稿では,最適なバイアス緩和軸の選択,学習する依存関係の異なるTTIモデルの比較,およびTTIモデルにおける交叉社会的バイアスの増幅を理解するためのBiasConnectの有用性を示す。
  論文  参考訳（メタデータ） (2025-03-12T19:01:41Z)
• Covert Bias: The Severity of Social Views' Unalignment in Language Models Towards Implicit and Explicit Opinion [0.40964539027092917]
  過度なバイアスシナリオのエッジケースにおけるバイアスモデルを用いて、ビューに対するバイアスの重症度を評価する。 以上の結果から,暗黙的・明示的な意見の識別において,LLM 性能の相違が明らかとなり,反対意見の明示的な意見に対する偏見の傾向が一般的であった。 非整合モデルの直接的な不注意な反応は、決定性のさらなる洗練の必要性を示唆している。
  論文  参考訳（メタデータ） (2024-08-15T15:23:00Z)
• FairMonitor: A Dual-framework for Detecting Stereotypes and Biases in Large Language Models [9.385390205833893]
  大規模言語モデル(LLM)におけるステレオタイプとバイアスの包括的評価のためのFairMonitorフレームワークの提案と静的力学検出手法の適用について述べる。 静的なコンポーネントは、直接調査テスト、暗黙の関連テスト、未知の状況テストで構成され、その中には、9つのセンシティブな要因と26の教育シナリオを含む10,262のオープンエンド質問が含まれている。 我々はマルチエージェントシステムを用いて、より複雑で現実的な環境で微妙なバイアスを検出する動的シナリオを信頼する。
  論文  参考訳（メタデータ） (2024-05-06T01:23:07Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
  我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。 動的パーソナライズされた価格設定などの問題の因果構造を形式化する。 本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
  論文  参考訳（メタデータ） (2021-10-19T16:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。