論文の概要: Logic Against Bias: Textual Entailment Mitigates Stereotypical Sentence Reasoning

• arxiv url: http://arxiv.org/abs/2303.05670v1
• Date: Fri, 10 Mar 2023 02:52:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-13 16:27:50.527487
• Title: Logic Against Bias: Textual Entailment Mitigates Stereotypical Sentence Reasoning
• Title（参考訳）: バイアスに対する論理:テクストエンターメントはステレオタイプ文推論を緩和する
• Authors: Hongyin Luo, James Glass
• Abstract要約: 一般的な文表現モデルに存在している異なるコミュニティに関するいくつかのステレオタイプについて述べる。 テキスト類似性に基づく強い事前学習モデルとテキスト共用学習を比較することで、テキスト共用による明示的な論理学習はバイアスを著しく減らすことができると結論付けている。
• 参考スコア（独自算出の注目度）: 8.990338162517086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to their similarity-based learning objectives, pretrained sentence encoders often internalize stereotypical assumptions that reflect the social biases that exist within their training corpora. In this paper, we describe several kinds of stereotypes concerning different communities that are present in popular sentence representation models, including pretrained next sentence prediction and contrastive sentence representation models. We compare such models to textual entailment models that learn language logic for a variety of downstream language understanding tasks. By comparing strong pretrained models based on text similarity with textual entailment learning, we conclude that the explicit logic learning with textual entailment can significantly reduce bias and improve the recognition of social communities, without an explicit de-biasing process
• Abstract（参考訳）: 類似性に基づく学習目的のため、事前訓練された文エンコーダは、トレーニングコーパスに存在する社会的バイアスを反映する典型的な仮定を内部化することが多い。 本稿では,前訓練された次文予測やコントラスト文表現モデルなど,一般的な文表現モデルに存在する異なるコミュニティに関するいくつかのステレオタイプについて述べる。 このようなモデルと、様々な下流言語理解タスクのための言語論理を学習するテキストエンテーメントモデルを比較する。 テキストの類似性に基づく強い事前学習モデルとテキストの重み付け学習を比較することにより,文章の重み付けによる明示的な論理学習は,偏りを著しく低減し,社会コミュニティの認識を改善することができると結論づける。

関連論文リスト

• Biased or Flawed? Mitigating Stereotypes in Generative Language Models by Addressing Task-Specific Flaws [12.559028963968247]
  生成言語モデルは、しばしば出力の社会的バイアスを反映し増幅します。 生成モデルにおいて観測されたステレオタイプを暗黙的に緩和する目的のステレオタイプ緩和フレームワークを提案する。 複数の次元にわたるステレオタイプ出力を60%以上削減する。
  論文  参考訳（メタデータ） (2024-12-16T03:29:08Z)
• Collapsed Language Models Promote Fairness [88.48232731113306]
  偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
  論文  参考訳（メタデータ） (2024-10-06T13:09:48Z)
• Anti-stereotypical Predictive Text Suggestions Do Not Reliably Yield Anti-stereotypical Writing [28.26615961488287]
  私たちは、言語モデルが予測テキストシナリオで、人々が言語モデルを使用して記述するストーリーにどのように影響するかを検討します。 特定のシナリオでは、共通の社会的ステレオタイプと整合する言語モデルの提案が、人間の著者によって受け入れられる可能性が高くなる。
  論文  参考訳（メタデータ） (2024-09-30T15:21:25Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
  異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。 予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。 私たちはUNcommonsenseという新しい英語コーパスをリリースします。
  論文  参考訳（メタデータ） (2023-11-14T19:00:55Z)
• On The Role of Reasoning in the Identification of Subtle Stereotypes in Natural Language [0.03749861135832073]
  大規模言語モデル(LLM)は、有害なステレオタイプを補強する様々な形式のバイアスと言語強化を含む膨大な未計算データセットに基づいて訓練される。 言語モデルにおけるバイアスを調べ、対処することが不可欠であり、それらのモデルが社会的バイアスを持続させないように、公平さを開発に組み込むことが不可欠である。 この研究は、自動ステレオタイプ検出における重要な要素としての推論を確立し、LSMのためのより強力なステレオタイプ緩和パイプラインに向けた第一歩である。
  論文  参考訳（メタデータ） (2023-07-24T15:12:13Z)
• Evaluating Biased Attitude Associations of Language Models in an Intersectional Context [2.891314299138311]
  言語モデルは、心理学で文書化された暗黙のバイアスを埋め込んだ大規模コーパスで訓練される。 我々は、年齢、教育、性別、身長、知性、識字性、人種、宗教、性、性的指向、社会階級、体重に関するバイアスを研究する。 言語モデルは、性同一性、社会的階級、性的指向のシグナルに対して最も偏りのある態度を示す。
  論文  参考訳（メタデータ） (2023-07-07T03:01:56Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)
• Fair Hate Speech Detection through Evaluation of Social Group Counterfactuals [21.375422346539004]
  教師付きモデルにおけるバイアス軽減のためのアプローチは、入力データの特定の敏感な特徴へのモデルの依存を減らすように設計されている。 ヘイトスピーチ検出の場合、必ずしも社会集団の効果を平等にすることが望ましいとは限らない。 言及された社会集団に対する対実的トークンフェアネスは、(a)実際の文と(b)反実的事例について、モデルが同一であるかどうかについて、モデルの予測を評価する。 提案手法は,実文と類似した意味を持つ反事実に対する頑健なモデル予測を保証する。
  論文  参考訳（メタデータ） (2020-10-24T04:51:47Z)
• Towards Debiasing Sentence Representations [109.70181221796469]
  Sent-Debiasはバイアスを取り除くのに有効であり、同時に文レベルの下流タスクのパフォーマンスを保っていることを示す。 我々は、より公平なNLPのための広く採用されている文表現から社会的偏見を識別・除去する今後の研究に刺激を与えることを期待している。
  論文  参考訳（メタデータ） (2020-07-16T04:22:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。