論文の概要: Investigating grammatical abstraction in language models using few-shot learning of novel noun gender
- arxiv url: http://arxiv.org/abs/2403.10338v1
- Date: Fri, 15 Mar 2024 14:25:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 16:51:41.559246
- Title: Investigating grammatical abstraction in language models using few-shot learning of novel noun gender
- Title（参考訳）: 新規名詞ジェンダーの少数ショット学習を用いた言語モデルにおける文法的抽象化の検討
- Authors: Priyanka Sukumaran, Conor Houghton, Nina Kazanina,
- Abstract要約: 我々は,LSTMとデコーダのみのトランスフォーマーが,フランス語の文法的ジェンダーを人間のように抽象化できるかどうかを評価するために名詞学習実験を行った。
両言語モデルが一対二の学習例から新約名詞のジェンダーを効果的に一般化し,合意文脈にまたがって学習したジェンダーを適用した。
モデルの一般化行動は、それらが人間のように文法的な性別を抽象的なカテゴリーとして表現していることを示しているが、詳細を探求するにはさらなる作業が必要である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Humans can learn a new word and infer its grammatical properties from very few examples. They have an abstract notion of linguistic properties like grammatical gender and agreement rules that can be applied to novel syntactic contexts and words. Drawing inspiration from psycholinguistics, we conduct a noun learning experiment to assess whether an LSTM and a decoder-only transformer can achieve human-like abstraction of grammatical gender in French. Language models were tasked with learning the gender of a novel noun embedding from a few examples in one grammatical agreement context and predicting agreement in another, unseen context. We find that both language models effectively generalise novel noun gender from one to two learning examples and apply the learnt gender across agreement contexts, albeit with a bias for the masculine gender category. Importantly, the few-shot updates were only applied to the embedding layers, demonstrating that models encode sufficient gender information within the word embedding space. While the generalisation behaviour of models suggests that they represent grammatical gender as an abstract category, like humans, further work is needed to explore the details of how exactly this is implemented. For a comparative perspective with human behaviour, we conducted an analogous one-shot novel noun gender learning experiment, which revealed that native French speakers, like language models, also exhibited a masculine gender bias and are not excellent one-shot learners either.
- Abstract（参考訳）: 人間は新しい単語を学び、ごく少数の例から文法的性質を推測することができる。
彼らは文法的な性別や合意規則のような言語特性の抽象的な概念を持ち、新しい構文的文脈や単語に適用できる。
心理言語学からインスピレーションを得て、LSTMとデコーダのみのトランスフォーマーが、フランス語の文法的ジェンダーを人間のように抽象化できるかどうかを評価するための名詞学習実験を行う。
言語モデルは、ある文法的合意文脈におけるいくつかの例から組み込まれた小説の名詞の性別を学習し、別の無意味な文脈における合意を予測することを任務とした。
両言語モデルが一対二の学習例から新しい名詞のジェンダーを効果的に一般化し,男性性カテゴリーの偏りはあるものの,合意文脈にまたがって学習したジェンダーを適用した。
重要な点として、いくつかの更新は埋め込み層にのみ適用され、モデルが単語埋め込み空間内で十分な性別情報をエンコードしていることが証明された。
モデルの一般化行動は、それらが文法的な性別を、人間のような抽象的なカテゴリーとして表現していることを示しているが、どのように実装されているのかを詳細に調べるためには、さらなる作業が必要である。
言語モデルと同様に、母語話者も男性性バイアスを示しており、また優れたワンショット学習者でもないことが判明した。
関連論文リスト
- What an Elegant Bridge: Multilingual LLMs are Biased Similarly in Different Languages [51.0349882045866]
本稿では,Large Language Models (LLMs) の文法的ジェンダーのレンズによるバイアスについて検討する。
様々な言語における形容詞を持つ名詞を記述するためのモデルを提案し,特に文法性のある言語に焦点を当てた。
単純な分類器は、偶然以上の名詞の性別を予測できるだけでなく、言語間の移動可能性も示せる。
論文 参考訳（メタデータ） (2024-07-12T22:10:16Z) - Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。
多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。
以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
論文 参考訳（メタデータ） (2024-01-29T12:02:28Z) - Using Artificial French Data to Understand the Emergence of Gender Bias
in Transformer Language Models [5.22145960878624]
この研究は、神経モデルがジェンダーなどの単語の言語的性質や、その使用法を規定する規則をいかに発見するかという、あまり研究されていないトピックを探求するための最初のステップである。
本稿では,フランス語をベースとしたPCFGが生成した人工コーパスを用いて,トレーニングデータ中の性別分布を正確に制御し,モデルが正しく性別情報をキャプチャした条件を決定することを提案する。
論文 参考訳（メタデータ） (2023-10-24T14:08:37Z) - VisoGender: A dataset for benchmarking gender bias in image-text pronoun
resolution [80.57383975987676]
VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。
We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。
我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
論文 参考訳（メタデータ） (2023-06-21T17:59:51Z) - Do LSTMs See Gender? Probing the Ability of LSTMs to Learn Abstract
Syntactic Rules [0.0]
次単語予測に基づいて訓練されたLSTMは、長距離構文依存の追跡を必要とする言語的タスクを正確に実行することができる。
ここでは、階層的構文構造と語彙単位の固有性の両方を追跡する必要があるフランス語における性別合意をテストする。
本モデルは,2つの主観的文脈において,長距離性合意を確実に予測することができる。
論文 参考訳（メタデータ） (2022-10-31T21:37:12Z) - Don't Forget About Pronouns: Removing Gender Bias in Language Models
Without Losing Factual Gender Information [4.391102490444539]
英語のテキストでは、ジェンダー情報とジェンダーバイアスの2つのタイプに焦点を当てている。
ジェンダーシグナルを保存しながら表現のステレオタイプバイアスを小さくすることを目的としている。
論文 参考訳（メタデータ） (2022-06-21T21:38:25Z) - Analyzing Gender Representation in Multilingual Models [59.21915055702203]
実践的なケーススタディとして,ジェンダーの区別の表現に焦点をあてる。
ジェンダーの概念が、異なる言語で共有された部分空間にエンコードされる範囲について検討する。
論文 参考訳（メタデータ） (2022-04-20T00:13:01Z) - They, Them, Theirs: Rewriting with Gender-Neutral English [56.14842450974887]
私たちは、英語でジェンダーインクルージョンを促進する一般的な方法である特異点についてケーススタディを行います。
本研究では, 人為的データを持たない1%の単語誤り率で, ジェンダーニュートラルな英語を学習できるモデルについて述べる。
論文 参考訳（メタデータ） (2021-02-12T21:47:48Z) - An exploration of the encoding of grammatical gender in word embeddings [0.6461556265872973]
単語埋め込みに基づく文法性の研究は、文法性がどのように決定されるかについての議論の洞察を与えることができる。
スウェーデン語、デンマーク語、オランダ語の埋め込みにおいて、文法的な性別がどのように符号化されているかには重複があることが判明した。
論文 参考訳（メタデータ） (2020-08-05T06:01:46Z) - Multi-Dimensional Gender Bias Classification [67.65551687580552]
機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。
本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。
このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
論文 参考訳（メタデータ） (2020-05-01T21:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。