論文の概要: On Debiasing Text Embeddings Through Context Injection

• arxiv url: http://arxiv.org/abs/2410.12874v1
• Date: Mon, 14 Oct 2024 18:11:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:23:08.280647
• Title: On Debiasing Text Embeddings Through Context Injection
• Title（参考訳）: 文脈注入によるテキスト埋め込みの劣化について
• Authors: Thomas Uriot,
• Abstract要約: 高いパフォーマンスの埋め込みモデルは、共通のバイアスを捉えやすいが、コンテキストを組み込むことができることも示している。 検索タスクでは,埋め込みのバイアスが望ましくない結果をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Current advances in NLP has made it increasingly feasible to build applications leveraging textual data. Generally, the core of these applications rely on having a good semantic representation of text into vectors, via specialized embedding models. However, it has been shown that these embeddings capture and perpetuate biases already present in text. While a few techniques have been proposed to debias embeddings, they do not take advantage of the recent advances in context understanding of the modern embedding models. In this paper, we fill this gap by conducting a review of 19 embedding models by quantifying their biases and how well they respond to context injection as a mean of debiasing. We show that higher performing embedding models are more prone to capturing common biases, but are also better able to incorporate context. Surprisingly, we find that while models can easily embed affirmative context, they fail at embedding neutral semantics. Finally, in a retrieval task, we show that biases in embeddings can lead to non-desirable outcomes. We use our new-found insights to design a simple algorithm for top $k$ retrieval where $k$ is dynamically selected.
• Abstract（参考訳）: NLPの最近の進歩により、テキストデータを活用したアプリケーションを構築することが可能になった。 一般的に、これらのアプリケーションのコアは、特別な埋め込みモデルを通して、ベクトルにテキストのセマンティックな表現を持たせることに依存している。 しかし、これらの埋め込みは、すでにテキストに存在するバイアスを捕捉し、永続することを示した。 組込みのデバイアスにはいくつかの手法が提案されているが、現代の組込みモデルの文脈理解における最近の進歩を生かしてはいない。 本稿では,そのバイアスを定量化することにより,19種類の埋め込みモデルについて検討し,このギャップを埋める。 高いパフォーマンスの埋め込みモデルは、共通のバイアスを捉えやすいが、コンテキストを組み込むことができることも示している。 驚くべきことに、モデルが肯定的な文脈を簡単に埋め込むことができるが、中立的な意味論を埋め込むには失敗する。 最後に、検索タスクにおいて、埋め込みにおけるバイアスが望ましくない結果をもたらすことを示す。 我々は、新しい見識を使って、k$が動的に選択されるトップ$$検索のための単純なアルゴリズムを設計します。

関連論文リスト

• Collapsed Language Models Promote Fairness [88.48232731113306]
  偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
  論文  参考訳（メタデータ） (2024-10-06T13:09:48Z)
• From Lists to Emojis: How Format Bias Affects Model Alignment [67.08430328350327]
  人的フィードバックからの強化学習における形式バイアスについて検討する。 人間の評価者を含む多くの広く使われている嗜好モデルは、特定のフォーマットパターンに対して強いバイアスを示す。 バイアスデータが少ないと、報酬モデルにかなりのバイアスを注入できることを示す。
  論文  参考訳（メタデータ） (2024-09-18T05:13:18Z)
• From Prejudice to Parity: A New Approach to Debiasing Large Language Model Word Embeddings [2.9324535682810886]
  DeepSoftDebiasは、ニューラルネットワークを使って'ソフトデバイアス'を実行するアルゴリズム 我々は、このアルゴリズムを様々なSOTAデータセット、精度メトリクス、難解なNLPタスクで徹底的に評価する。 DeepSoftDebiasは、性別、人種、宗教の偏見を減らし、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-02-18T08:53:41Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Efficient and Flexible Topic Modeling using Pretrained Embeddings and Bag of Sentences [1.8592384822257952]
  本稿では,新しいトピックモデリングと推論アルゴリズムを提案する。 我々は,生成過程モデルとクラスタリングを組み合わせることで,事前学習文の埋め込みを活用する。 The Tailor の評価は,本手法が比較的少ない計算要求で最先端の成果をもたらすことを示している。
  論文  参考訳（メタデータ） (2023-02-06T20:13:11Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Entity Disambiguation with Entity Definitions [50.01142092276296]
  ローカルモデルはEntity Disambiguation (ED)で最近驚くべきパフォーマンスを達成した それまでの研究は、各候補者のテキスト表現として、ウィキペディアのタイトルのみを使うことに限られていた。 本稿では、この制限に対処し、より表現力のあるテキスト表現がそれを緩和できる範囲について検討する。 提案する6つのベンチマークのうち2つに新たな技術の現状を報告し,未知のパターンに対する一般化能力を強く改善する。
  論文  参考訳（メタデータ） (2022-10-11T17:46:28Z)
• The Authors Matter: Understanding and Mitigating Implicit Bias in Deep Text Classification [36.361778457307636]
  ディープテキスト分類モデルは、特定の人口統計グループの著者によって書かれたテキストのバイアス結果を生成することができます。 本論文では,異なる人口集団の異なるテキスト分類タスクに暗黙のバイアスが存在することを示す。 そして、暗黙のバイアスの知識を深めるために、学習に基づく解釈方法を構築します。
  論文  参考訳（メタデータ） (2021-05-06T16:17:38Z)
• Debiasing Pre-trained Contextualised Embeddings [28.378270372391498]
  本稿では,事前学習された文脈的埋め込みに対してトークンレベルや文レベルで適用可能な微調整手法を提案する。 性別バイアスを図示例として,複数の最新(SoTA)文脈表現を用いた体系的研究を行った。 すべてのトークンとコンテキスト化された埋め込みモデルのすべてのレイヤにトークンレベルのデバイアスを適用すると、最高のパフォーマンスが得られます。
  論文  参考訳（メタデータ） (2021-01-23T15:28:48Z)
• Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
  本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。 まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。 第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
  論文  参考訳（メタデータ） (2020-05-10T17:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。