論文の概要: Towards Identifying Social Bias in Dialog Systems: Frame, Datasets, and Benchmarks

• arxiv url: http://arxiv.org/abs/2202.08011v1
• Date: Wed, 16 Feb 2022 11:59:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-17 14:56:59.714114
• Title: Towards Identifying Social Bias in Dialog Systems: Frame, Datasets, and Benchmarks
• Title（参考訳）: 対話システムにおける社会的バイアスの特定に向けて:フレーム,データセット,ベンチマーク
• Authors: Jingyan Zhou, Jiawen Deng, Fei Mi, Yitong Li, Yasheng Wang, Minlie Huang, Xin Jiang, Qun Liu, Helen Meng
• Abstract要約: 本稿では,ダイアログの安全性問題に対する社会的バイアス検出に焦点をあてる。 まず,会話における社会的バイアスを現実的に分析する新しいダイアルバイアスフレームを提案する。 中国初の社会バイアスダイアログデータセットであるCDail-Biasデータセットを紹介する。
• 参考スコア（独自算出の注目度）: 95.29345070102045
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The research of open-domain dialog systems has been greatly prospered by neural models trained on large-scale corpora, however, such corpora often introduce various safety problems (e.g., offensive languages, biases, and toxic behaviors) that significantly hinder the deployment of dialog systems in practice. Among all these unsafe issues, addressing social bias is more complex as its negative impact on marginalized populations is usually expressed implicitly, thus requiring normative reasoning and rigorous analysis. In this paper, we focus our investigation on social bias detection of dialog safety problems. We first propose a novel Dial-Bias Frame for analyzing the social bias in conversations pragmatically, which considers more comprehensive bias-related analyses rather than simple dichotomy annotations. Based on the proposed framework, we further introduce CDail-Bias Dataset that, to our knowledge, is the first well-annotated Chinese social bias dialog dataset. In addition, we establish several dialog bias detection benchmarks at different label granularities and input types (utterance-level and context-level). We show that the proposed in-depth analyses together with these benchmarks in our Dial-Bias Frame are necessary and essential to bias detection tasks and can benefit building safe dialog systems in practice.
• Abstract（参考訳）: オープンドメイン対話システムの研究は、大規模コーパスで訓練された神経モデルによって大いに繁栄してきたが、そのようなコーパスは、実際にはダイアログシステムの導入を著しく阻害する様々な安全性問題(攻撃的言語、バイアス、有害な行動など)をしばしば導入している。 これらの安全でない問題の中で、社会バイアスへの対処はより複雑であり、限界人口に対するネガティブな影響は通常暗黙的に表現されるため、規範的な推論と厳格な分析を必要とする。 本稿では,ダイアログの安全性問題に対する社会的バイアス検出に焦点をあてる。 まず,会話における社会的バイアスを現実的に分析する新しいダイアルバイアスフレームを提案する。 提案した枠組みに基づいて,私たちの知る限り,中国初の社会バイアスダイアログデータセットであるCDail-Bias Datasetを紹介する。 さらに,異なるラベルの粒度と入力型(発話レベル,文脈レベル)で複数のダイアログバイアス検出ベンチマークを構築した。 提案手法は,ダイアルバイアスフレームのベンチマークとともに,バイアス検出タスクに不可欠であり,実際に安全なダイアログシステムを構築する上で有用であることを示す。

関連論文リスト

• 'No' Matters: Out-of-Distribution Detection in Multimodality Long Dialogue [3.971267935825097]
  本稿では,OOD対話と画像の効率よく検出することで,複数ラウンドの長い対話を含むユーザエクスペリエンスを向上させることを目的とする。 本稿では,視覚言語モデルと新たなスコアを統合したDIAEF(Dialogue Image Aligning and Enhancing Framework)を提案する。
  論文  参考訳（メタデータ） (2024-10-31T12:45:54Z)
• Scalable Frame-based Construction of Sociocultural NormBases for Socially-Aware Dialogues [66.69453609603875]
  社会文化的規範は、社会的相互作用における個人的行為の指針となる。 大規模言語モデル(LLM)を用いた社会文化的ノルム(SCN)ベース構築のためのスケーラブルなアプローチを提案する。 我々は、包括的で広くアクセス可能な中国社会文化ノルムベースを構築した。
  論文  参考訳（メタデータ） (2024-10-04T00:08:46Z)
• Context Does Matter: Implications for Crowdsourced Evaluation Labels in Task-Oriented Dialogue Systems [57.16442740983528]
  クラウドソースラベルは、タスク指向の対話システムを評価する上で重要な役割を果たす。 従来の研究では、アノテーションプロセスで対話コンテキストの一部だけを使用することが提案されている。 本研究では,対話文脈がアノテーション品質に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2024-04-15T17:56:39Z)
• An Empirical Bayes Framework for Open-Domain Dialogue Generation [27.83533924583182]
  本稿では,事前学習したパラメータを活用してオープンドメイン対話エージェントを構築するための経験的ベイズフレームワークを提案する。 実験結果から,BODEBは多様性とコヒーレンスの両方の観点から,変分フレームワークよりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-18T02:48:41Z)
• A Deeper (Autoregressive) Approach to Non-Convergent Discourse Parsing [0.6599344783327052]
  本稿では,従来の対話音声以外の追加入力を必要としない非収束談話パーシングの統一モデルを提案する。 本モデルでは,ラベルのコロケーションを使わずに,ラベル毎に独自のアーキテクチャやモデルを訓練することなく,SOTAに匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2023-05-21T17:04:21Z)
• CGoDial: A Large-Scale Benchmark for Chinese Goal-oriented Dialog Evaluation [75.60156479374416]
  CGoDialは、Goal指向のダイアログ評価のための、新しい挑戦的で包括的な中国のベンチマークである。 96,763のダイアログセッションと574,949のダイアログがすべて含まれており、異なる知識ソースを持つ3つのデータセットをカバーする。 学術ベンチマークと音声対話のシナリオのギャップを埋めるために、実際の会話からデータを収集したり、クラウドソーシングを通じて既存のデータセットに音声機能を追加する。
  論文  参考訳（メタデータ） (2022-11-21T16:21:41Z)
• Dialogue Inspectional Summarization with Factual Inconsistency Awareness [34.97845384948336]
  非事前学習・事前学習環境下での対話検査要約(DIS)の現実的矛盾問題について検討する。 2つの補助的なタスクを伴って、革新的なエンドツーエンドの対話要約生成フレームワークを提案する。 包括的実験により、提案モデルにより、現実的な側面を正確に網羅したより読みやすい要約が生成できることが示されている。
  論文  参考訳（メタデータ） (2021-11-05T06:26:22Z)
• On the Safety of Conversational Models: Taxonomy, Dataset, and Benchmark [42.322782754346406]
  本研究では,人間とロボットの対話に特有の不安全行動の把握を目的とした対話安全のための分類法を提案する。 DiaSafetyは6つの安全でないカテゴリのデータセットで、リッチなコンテキストに敏感なアンセーフな例をコンパイルします。 実験により、既存の発話レベルの安全ツールが我々のデータセットで破滅的に失敗することが示された。
  論文  参考訳（メタデータ） (2021-10-16T04:17:12Z)
• I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling [104.09033240889106]
  DialoguE Contradiction Detection Task(DECODE)と、人間とロボットの矛盾した対話の両方を含む新しい会話データセットを紹介します。 次に、事前学習したトランスフォーマーモデルを用いて、定型的非構造的アプローチと矛盾検出を行う構造的発話に基づくアプローチを比較する。
  論文  参考訳（メタデータ） (2020-12-24T18:47:49Z)
• Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
  本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。 実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
  論文  参考訳（メタデータ） (2020-05-27T02:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。