論文の概要: Uncovering and Categorizing Social Biases in Text-to-SQL

• arxiv url: http://arxiv.org/abs/2305.16253v2
• Date: Wed, 7 Jun 2023 13:30:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 18:28:06.989322
• Title: Uncovering and Categorizing Social Biases in Text-to-SQL
• Title（参考訳）: Text-to-SQLにおけるソーシャルバイアスの発見と分類
• Authors: Yan Liu, Yan Gao, Zhe Su, Xiaokang Chen, Elliott Ash, Jian-Guang Lou
• Abstract要約: 大規模な事前訓練された言語モデルは、異なる人口層に対する社会的偏見を持つと認められている。 既存のText-to-モデルは、SpiderやWikiといったクリーンで中立なデータセットでトレーニングされている。 この研究は、テキスト・ツー・モデルで社会的バイアスを発見し、分類することを目的としている。
• 参考スコア（独自算出の注目度）: 28.07279278808438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Content Warning: This work contains examples that potentially implicate stereotypes, associations, and other harms that could be offensive to individuals in certain social groups.} Large pre-trained language models are acknowledged to carry social biases towards different demographics, which can further amplify existing stereotypes in our society and cause even more harm. Text-to-SQL is an important task, models of which are mainly adopted by administrative industries, where unfair decisions may lead to catastrophic consequences. However, existing Text-to-SQL models are trained on clean, neutral datasets, such as Spider and WikiSQL. This, to some extent, cover up social bias in models under ideal conditions, which nevertheless may emerge in real application scenarios. In this work, we aim to uncover and categorize social biases in Text-to-SQL models. We summarize the categories of social biases that may occur in structured data for Text-to-SQL models. We build test benchmarks and reveal that models with similar task accuracy can contain social biases at very different rates. We show how to take advantage of our methodology to uncover and assess social biases in the downstream Text-to-SQL task. We will release our code and data.
• Abstract（参考訳）: コンテンツ警告: この研究には、特定の社会集団の個人に有害なステレオタイプ、関連、その他の害を暗示する可能性がある例が含まれている。 大規模な事前学習された言語モデルは、異なる人口層に対する社会的偏見を持ち、社会における既存のステレオタイプをさらに増幅し、さらに害を与える可能性がある。 テキスト・トゥ・SQLは重要なタスクであり、そのモデルは主に行政産業で採用されており、不公平な決定が破滅的な結果をもたらす可能性がある。 しかし、既存のText-to-SQLモデルは、SpiderやWikiSQLのようなクリーンで中立的なデータセットでトレーニングされている。 これはある程度、理想的な条件下でのモデルの社会的バイアスをカバーできるが、実際のアプリケーションシナリオで現れる可能性がある。 本研究の目的は,テキストからsqlへのモデルの社会バイアスを解明し,分類することである。 テキストからsqlへのモデルの構造化データに生じる社会バイアスのカテゴリを要約する。 テストベンチマークを構築し、類似したタスク精度を持つモデルが、全く異なる速度で社会的バイアスを含むことを明らかにします。 本手法を活用し,下流のテキストからsqlへのタスクにおける社会的バイアスを解明し,評価する方法を示す。 コードとデータをリリースします。

関連論文リスト

• IndiBias: A Benchmark Dataset to Measure Social Biases in Language Models for Indian Context [32.48196952339581]
  インドにおける社会的バイアスを評価するためのベンチマークデータセットであるIndiBiasを紹介する。 バイアスの次元には、性別、宗教、キャスト、年齢、地域、身体的外観、職業が含まれる。 我々のデータセットには800の文対と300の偏差測定が含まれている。
  論文  参考訳（メタデータ） (2024-03-29T12:32:06Z)
• SocialStigmaQA: A Benchmark to Uncover Stigma Amplification in Generative Language Models [8.211129045180636]
  我々は、生成言語モデルにおいて、シュティグマを通して、社会的偏見の増幅を捉えるためのベンチマークを導入する。 私たちのベンチマークであるSocialStigmaQAには、ソーシャルバイアスとモデル堅牢性の両方をテストするために慎重に構築された、さまざまなプロンプトスタイルの約10Kプロンプトが含まれています。 社会的に偏りのあるアウトプットの割合は、様々なデコード戦略やスタイルにまたがって45%から59%の範囲であることがわかった。
  論文  参考訳（メタデータ） (2023-12-12T18:27:44Z)
• Probing Intersectional Biases in Vision-Language Models with Counterfactual Examples [5.870913541790421]
  我々は、テキスト・ツー・イメージ拡散モデルを用いて、大規模に侵入する社会的バイアスを探索する対実例を作成する。 提案手法では,安定拡散とクロスアテンション制御を用いて,対実的画像とテキストのペアのセットを生成する。 我々は、最先端のVLMに存在する交叉社会的バイアスを明らかにするために、生成されたデータセットを用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2023-10-04T17:25:10Z)
• CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models [52.25049362267279]
  本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。 データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。 大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
  論文  参考訳（メタデータ） (2023-06-28T14:14:44Z)
• Exposing Bias in Online Communities through Large-Scale Language Models [3.04585143845864]
  この研究は、言語モデルにおけるバイアスの欠陥を使用して、6つの異なるオンラインコミュニティのバイアスを調査します。 得られたモデルのバイアスは、異なる人口層を持つモデルに促し、これらの世代における感情と毒性の値を比較することで評価される。 この作業は、トレーニングデータからバイアスがどの程度容易に吸収されるかを確認するだけでなく、さまざまなデータセットやコミュニティのバイアスを特定し比較するためのスケーラブルな方法も提示する。
  論文  参考訳（メタデータ） (2023-06-04T08:09:26Z)
• Uncovering and Quantifying Social Biases in Code Generation [71.96047133403688]
  コード生成モデルにおいて,コードプロンプトを構築し,社会的バイアスを明らかにするための新しいパラダイムを提案する。 我々は,3つの指標とともにデータセットを開発し,社会の偏見と,異なる人口層間でのきめ細かい不公平さを評価する。 我々は、社会的バイアスの低いコード生成モデルをさらに選択するための有用な洞察を提供するために分析を行う。
  論文  参考訳（メタデータ） (2023-05-24T17:37:33Z)
• Dr.Spider: A Diagnostic Evaluation Benchmark towards Text-to-SQL Robustness [115.66421993459663]
  近年の研究では、テキスト・ツー・モデルはタスク固有の摂動に弱いことが示されている。 モデル診断のための包括的ロバスト性ベンチマークを提案する。 我々は、そのセット上の最先端モデルの診断研究を行う。
  論文  参考訳（メタデータ） (2023-01-21T03:57:18Z)
• XRICL: Cross-lingual Retrieval-Augmented In-Context Learning for Cross-lingual Text-to-SQL Semantic Parsing [70.40401197026925]
  大規模言語モデルを用いたインコンテキスト学習は、最近セマンティック解析タスクの驚くべき結果を示している。 この研究は、あるクエリに対して関連する英語の例を検索する学習を行うXRICLフレームワークを導入している。 また、大規模言語モデルの翻訳プロセスを容易にするために、対象言語に対するグローバルな翻訳例も含んでいる。
  論文  参考訳（メタデータ） (2022-10-25T01:33:49Z)
• The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks [75.58692290694452]
  社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。 これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
  論文  参考訳（メタデータ） (2022-10-18T17:58:39Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。