論文の概要: A Framework for Auditing Chatbots for Dialect-Based Quality-of-Service Harms

• arxiv url: http://arxiv.org/abs/2506.04419v1
• Date: Wed, 04 Jun 2025 19:58:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.408311
• Title: A Framework for Auditing Chatbots for Dialect-Based Quality-of-Service Harms
• Title（参考訳）: 対話型品質・オブ・サービスハームのためのチャットボット評価フレームワーク
• Authors: Emma Harvey, Rene F. Kizilcec, Allison Koenecke,
• Abstract要約: 方言バイアスに対する大規模言語モデル(LLM)に基づくチャットボットの監査のためのフレームワークを提案する。 システムが異なる人々に対して同じように機能しない場合に発生する、サービス品質の悪影響の程度を測定します。 私たちのフレームワークには,実際に有用な3つの重要な特徴があります。
• 参考スコア（独自算出の注目度）: 0.6144680854063939
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Increasingly, individuals who engage in online activities are expected to interact with large language model (LLM)-based chatbots. Prior work has shown that LLMs can display dialect bias, which occurs when they produce harmful responses when prompted with text written in minoritized dialects. However, whether and how this bias propagates to systems built on top of LLMs, such as chatbots, is still unclear. We conduct a review of existing approaches for auditing LLMs for dialect bias and show that they cannot be straightforwardly adapted to audit LLM-based chatbots due to issues of substantive and ecological validity. To address this, we present a framework for auditing LLM-based chatbots for dialect bias by measuring the extent to which they produce quality-of-service harms, which occur when systems do not work equally well for different people. Our framework has three key characteristics that make it useful in practice. First, by leveraging dynamically generated instead of pre-existing text, our framework enables testing over any dialect, facilitates multi-turn conversations, and represents how users are likely to interact with chatbots in the real world. Second, by measuring quality-of-service harms, our framework aligns audit results with the real-world outcomes of chatbot use. Third, our framework requires only query access to an LLM-based chatbot, meaning that it can be leveraged equally effectively by internal auditors, external auditors, and even individual users in order to promote accountability. To demonstrate the efficacy of our framework, we conduct a case study audit of Amazon Rufus, a widely-used LLM-based chatbot in the customer service domain. Our results reveal that Rufus produces lower-quality responses to prompts written in minoritized English dialects, and that these quality-of-service harms are exacerbated by the presence of typos in prompts.
• Abstract（参考訳）: 近年,オンライン活動に従事している個人は,大規模言語モデル(LLM)ベースのチャットボットと対話することが期待されている。 以前の研究は、LLMが方言バイアスを表現できることを示しており、これは、マイナー化された方言で書かれたテキストで刺激されたときに有害な応答を生じるときに発生する。 しかし、このバイアスがLLM上に構築されたシステム(チャットボットなど)にどのように伝播するかはまだ不明である。 本稿では, LLM の方言バイアスに対する監査手法について検討し, 実体的・生態的妥当性の問題から, LLM ベースのチャットボットの監査に適応できないことを示す。 そこで本稿では,LLMベースのチャットボットを方言バイアスに対して監査するためのフレームワークを提案する。 私たちのフレームワークには,実際に有用な3つの重要な特徴があります。 まず,既存のテキストの代わりに動的に生成されたテキストを活用することで,任意の方言上でのテストを可能にし,マルチターン会話を容易にし,ユーザが現実世界でチャットボットと対話する可能性を示す。 第二に、私たちのフレームワークは、品質・サービス障害を測定することによって、監査結果をチャットボットの実際の使用結果と整合させる。 第三に、当社のフレームワークはLCMベースのチャットボットへのクエリのみを必要とするため、説明責任を促進するために内部監査、外部監査、さらには個々のユーザによって効果的に活用することができる。 当社のフレームワークの有効性を示すために,顧客サービス領域で広く利用されているLLMベースのチャットボットであるAmazon Rufusのケーススタディ監査を実施している。 以上の結果から,ルーファスは英語方言で書かれたプロンプトに対して低品質な反応を生じさせ,これらのクオリティ・オブ・サービス障害はインプロンプトにおけるタイポスの存在によって悪化していることが明らかとなった。

関連論文リスト

• MEDAL: A Framework for Benchmarking LLMs as Multilingual Open-Domain Chatbots and Dialogue Evaluators [8.672875654352689]
  本稿では,対話評価ベンチマークの生成,評価,キュレートを行う自動マルチエージェントフレームワークであるMEDALを紹介する。 シードコンテキストの異なるユーザ-チャットボットの多言語対話を生成する。 次に、強いLLMを用いてチャットボットの性能を多次元的に解析し、顕著な言語間性能差を明らかにする。 その後、いくつかの推論と非推論 LLM がオープンドメイン対話の評価器として機能する能力を評価するためにベンチマークが使用される。
  論文  参考訳（メタデータ） (2025-05-28T18:45:42Z)
• One Language, Many Gaps: Evaluating Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本研究は,大言語モデル(LLM)の標準推論タスクにおける方言処理における妥当性と頑健さを客観的に評価することを目的とした最初の研究である。 我々は、コンピュータサイエンスのバックグラウンドの専門家を含むAAVEスピーカーを雇い、HumanEvalやGSM8Kといった7つの人気のあるベンチマークを書き換えます。 以上の結果から,これら広く使用されているモデルのほとんどは,AAVEにおけるクエリに対する不安定さと不公平さを顕著に示していることがわかった。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• Prompt Engineering a Schizophrenia Chatbot: Utilizing a Multi-Agent Approach for Enhanced Compliance with Prompt Instructions [0.0699049312989311]
  統合失調症の患者は、しばしば認知障害を伴い、自分の状態について学ぶ能力を妨げることがある。 大規模言語モデル(LLM)は、トピックのメンタルヘルス情報をよりアクセシビリティとエンゲージメントを高める可能性を秘めているが、それらのブラックボックスの性質は倫理と安全に関する懸念を喚起する。
  論文  参考訳（メタデータ） (2024-10-10T09:49:24Z)
• On Overcoming Miscalibrated Conversational Priors in LLM-based Chatbots [19.423566424346166]
  本研究では,Large Language Model (LLM) ベースのチャットボットを用いて推薦システムを構築する。 チャットボットが不特定要求に遭うと、応答が悪くなるのを観察する。 我々は,このような誤った応答傾向は,アノテータを用いたLPM微調整に起因していると推測する。
  論文  参考訳（メタデータ） (2024-06-01T15:54:45Z)
• SPML: A DSL for Defending Language Models Against Prompt Attacks [4.511923587827302]
  System Prompt Meta Language (SPML)は、大規模言語モデル(LLM)へのインプットの精製と監視を行うドメイン固有言語である。 SPMLは攻撃プロンプトを積極的にチェックし、ユーザ入力と定義との整合性を確保し、LLMバックボーン上で悪意のある実行を防止し、コストを最適化する。 我々は、1.8kシステムプロンプトと20kユーザインプットを備えた画期的なベンチマークを導入し、チャットボット定義評価のための最初の言語とベンチマークを提供する。
  論文  参考訳（メタデータ） (2024-02-19T00:53:48Z)
• BotChat: Evaluating LLMs' Capabilities of Having Multi-Turn Dialogues [72.65163468440434]
  本報告では,人間型マルチターンチャットのための既存大規模言語モデルの予備的評価を行う。 そこで我々は,ChatSEEDに基づくマルチターン対話を発話によって生成する大規模言語モデル(LLM)を提案する。 GPT-4は優れた品質の人型多元対話を生成できるが、その性能は著しく上回っている。
  論文  参考訳（メタデータ） (2023-10-20T16:53:51Z)
• DPIC: Decoupling Prompt and Intrinsic Characteristics for LLM Generated Text Detection [56.513637720967566]
  大規模言語モデル(LLM)は、盗作、eコマースプラットフォームへの偽レビューの設置、炎症性偽ツイートなどの誤用のリスクを引き起こすテキストを生成することができる。 既存の高品質な検出手法では、本質的な特徴を抽出するために、モデルの内部にアクセスする必要がある。 ブラックボックスモデル生成テキストの深い内在特性を抽出する。
  論文  参考訳（メタデータ） (2023-05-21T17:26:16Z)
• Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue Questions with LLMs [59.74002011562726]
  我々は、よりパーソナライズされ魅力的な応答を提供するために、新しい言語的キューに基づく思考の連鎖(textitCue-CoT)を提案する。 中国語と英語の6つのデータセットからなる詳細な対話質問を用いたベンチマークを構築した。 実験により,提案手法は,すべてのデータセットにおいて,テクステルパーフルネスとテクスチタアクセプタビリティの両方の観点から,標準的プロンプト法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-19T16:27:43Z)
• Assessing the potential of LLM-assisted annotation for corpus-based pragmatics and discourse analysis: The case of apology [9.941695905504282]
  本研究では,大規模言語モデル (LLM) を用いてプラグマ・ディスカッシブ・コーパスのアノテーションを自動生成する可能性について検討する。 GPT-4はGPT-3.5より優れており,精度は人間のコーダに近づいた。
  論文  参考訳（メタデータ） (2023-05-15T04:10:13Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。