論文の概要: Analyzing the Limits of Self-Supervision in Handling Bias in Language
- arxiv url: http://arxiv.org/abs/2112.08637v3
- Date: Wed, 16 Aug 2023 09:20:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-17 18:11:03.980745
- Title: Analyzing the Limits of Self-Supervision in Handling Bias in Language
- Title（参考訳）: 言語バイアス処理における自己スーパービジョンの限界解析
- Authors: Lisa Bauer, Karthik Gopalakrishnan, Spandana Gella, Yang Liu, Mohit
Bansal, Dilek Hakkani-Tur
- Abstract要約: 我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。
分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
- 参考スコア（独自算出の注目度）: 52.26068057260399
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prompting inputs with natural language task descriptions has emerged as a
popular mechanism to elicit reasonably accurate outputs from large-scale
generative language models with little to no in-context supervision. This also
helps gain insight into how well language models capture the semantics of a
wide range of downstream tasks purely from self-supervised pre-training on
massive corpora of unlabeled text. Such models have naturally also been exposed
to a lot of undesirable content like racist and sexist language and there is
limited work on awareness of models along these dimensions. In this paper, we
define and comprehensively evaluate how well such language models capture the
semantics of four tasks for bias: diagnosis, identification, extraction and
rephrasing. We define three broad classes of task descriptions for these tasks:
statement, question, and completion, with numerous lexical variants within each
class. We study the efficacy of prompting for each task using these classes and
the null task description across several decoding methods and few-shot
examples. Our analyses indicate that language models are capable of performing
these tasks to widely varying degrees across different bias dimensions, such as
gender and political affiliation. We believe our work is an important step
towards unbiased language models by quantifying the limits of current
self-supervision objectives at accomplishing such sociologically challenging
tasks.
- Abstract（参考訳）: 自然言語のタスク記述による入力のプロンプティングは、コンテキスト内管理がほとんどないし全くない大規模生成言語モデルから、合理的に正確な出力を引き出すための一般的なメカニズムとして登場した。
これはまた、言語モデルが大量のラベルなしテキストのコーパス上での自己教師付き事前トレーニングから純粋に幅広い下流タスクのセマンティクスをいかにうまく捉えているかを理解するのに役立つ。
このようなモデルは、人種差別やセクシスト言語のような好ましくないコンテンツにも自然にさらされており、これらの次元に沿ったモデルの認識に関する作業は限られている。
本稿では,これらの言語モデルが,認識,識別,抽出,言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを定義し,包括的に評価する。
タスク記述の3つの幅広いクラスを定義する: 文、質問、完了、各クラスに多数の語彙変種がある。
これらのクラスを用いて各タスクにプロンプトを施すことの有効性について検討し,いくつかのデコード手法と少数例を用いてヌルタスク記述を行う。
分析の結果, 言語モデルは, 性別や政治的関係など, さまざまなバイアス次元にわたって, 幅広い程度でタスクを遂行できることがわかった。
我々の研究は、社会学的に困難なタスクを達成するための現在の自己スーパービジョン目標の限界を定量化することで、バイアスのない言語モデルへの重要なステップであると考えています。
関連論文リスト
- Harnessing the Intrinsic Knowledge of Pretrained Language Models for Challenging Text Classification Settings [5.257719744958367]
この論文は、事前学習された言語モデル(PLM)の本質的な知識を活用することによって、テキスト分類における3つの挑戦的な設定を探求する。
本研究では, PLMの文脈表現に基づく特徴量を利用したモデルを構築し, 人間の精度に匹敵する, あるいは超越する性能を実現する。
最後に、実効的な実演を選択することで、大規模言語モデルの文脈内学習プロンプトに対する感受性に取り組む。
論文 参考訳（メタデータ） (2024-08-28T09:07:30Z) - Scalable Language Model with Generalized Continual Learning [58.700439919096155]
The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。
提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
論文 参考訳（メタデータ） (2024-04-11T04:22:15Z) - Tokenization Impacts Multilingual Language Modeling: Assessing
Vocabulary Allocation and Overlap Across Languages [3.716965622352967]
サブワードトークン化器で観測される語彙表現と語彙重複の質を評価するための新しい基準を提案する。
以上の結果から,言語間の語彙の重複は,特定の下流課題に支障を来す可能性があることが示唆された。
論文 参考訳（メタデータ） (2023-05-26T18:06:49Z) - Overcoming Barriers to Skill Injection in Language Modeling: Case Study
in Arithmetic [14.618731441943847]
我々は,言語モデルが言語能力を維持しつつ数学的に熟練することを可能にする新しい枠組みを開発する。
具体的には、言語モデルに非言語的スキルを注入しながら発生する言語スキルの破滅的な忘れを克服するために、情報理論の介入を提供する。
論文 参考訳（メタデータ） (2022-11-03T18:53:30Z) - Coarse-to-Fine: Hierarchical Multi-task Learning for Natural Language
Understanding [51.31622274823167]
本稿では,各タスクの下位レベルを全タスクに共有し,中間レベルを異なるグループに分割し,上位レベルを各タスクに割り当てる,粗大なパラダイムを持つ階層型フレームワークを提案する。
これにより、すべてのタスクから基本言語特性を学習し、関連するタスクのパフォーマンスを高め、無関係なタスクから負の影響を減らすことができる。
論文 参考訳（メタデータ） (2022-08-19T02:46:20Z) - Self-training with Few-shot Rationalization: Teacher Explanations Aid
Student in Few-shot NLU [88.8401599172922]
タスク固有のラベルと合理的性に制限された自己学習言語モデルに基づくフレームワークを開発する。
ニューラルネットワークの性能は,その合理的な予測を意識することで,大幅に向上できることを示す。
論文 参考訳（メタデータ） (2021-09-17T00:36:46Z) - On the Universality of Deep COntextual Language Models [15.218264849664715]
ELMOやBERTのような深い文脈言語モデル(LM)は、自然言語処理のランドスケープを支配している。
XLM-RやmBERTのような多言語モデルでは、ゼロショットのクロスリンガル転送が期待できる結果となった。
この最初の成功により、訓練済みのモデルはユニバーサル言語モデルとして使用されている。
論文 参考訳（メタデータ） (2021-09-15T08:00:33Z) - Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。
これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
論文 参考訳（メタデータ） (2021-06-16T18:13:55Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。