論文の概要: Do LSTMs See Gender? Probing the Ability of LSTMs to Learn Abstract Syntactic Rules

• arxiv url: http://arxiv.org/abs/2211.00153v1
• Date: Mon, 31 Oct 2022 21:37:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 12:40:36.866091
• Title: Do LSTMs See Gender? Probing the Ability of LSTMs to Learn Abstract Syntactic Rules
• Title（参考訳）: LSTMはジェンダーに見えるか? LSTMによる抽象構文規則の学習能力の検証
• Authors: Priyanka Sukumaran, Conor Houghton, Nina Kazanina
• Abstract要約: 次単語予測に基づいて訓練されたLSTMは、長距離構文依存の追跡を必要とする言語的タスクを正確に実行することができる。 ここでは、階層的構文構造と語彙単位の固有性の両方を追跡する必要があるフランス語における性別合意をテストする。 本モデルは,2つの主観的文脈において,長距離性合意を確実に予測することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: LSTMs trained on next-word prediction can accurately perform linguistic tasks that require tracking long-distance syntactic dependencies. Notably, model accuracy approaches human performance on number agreement tasks (Gulordava et al., 2018). However, we do not have a mechanistic understanding of how LSTMs perform such linguistic tasks. Do LSTMs learn abstract grammatical rules, or do they rely on simple heuristics? Here, we test gender agreement in French which requires tracking both hierarchical syntactic structures and the inherent gender of lexical units. Our model is able to reliably predict long-distance gender agreement in two subject-predicate contexts: noun-adjective and noun-passive-verb agreement. The model showed more inaccuracies on plural noun phrases with gender attractors compared to singular cases, suggesting a reliance on clues from gendered articles for agreement. Overall, our study highlights key ways in which LSTMs deviate from human behaviour and questions whether LSTMs genuinely learn abstract syntactic rules and categories. We propose using gender agreement as a useful probe to investigate the underlying mechanisms, internal representations, and linguistic capabilities of LSTM language models.
• Abstract（参考訳）: 次単語予測に基づいて訓練されたLSTMは、長距離構文依存の追跡を必要とする言語タスクを正確に実行することができる。 特に、モデル精度は、数字合意タスク(Gulordava et al., 2018)で人間のパフォーマンスに近づきます。 しかし、LSTMがそのような言語的タスクをどのように行うかという機械的な理解は得られていない。 LSTMは抽象文法規則を学ぶのか、それとも単純なヒューリスティックに依存しているのか? ここでは、階層的構文構造と語彙単位の固有性の両方を追跡する必要があるフランス語における性別合意をテストする。 本モデルは、名詞形容詞と名詞パッシブ動詞の2つの文脈において、長距離性合意を確実に予測することができる。 本モデルでは,複数名詞句に性誘惑詞を呈する単語が特異例よりも不正確であることが示唆された。 本研究は、LSTMが人間の行動から逸脱する鍵となる方法と、LSTMが抽象構文規則やカテゴリを真に学習するかどうかを考察する。 本稿では,LSTM言語モデルの基本メカニズム,内部表現,言語能力の解明に,ジェンダーアグリーメントを有効活用することを提案する。

関連論文リスト

• Large Language Models as Neurolinguistic Subjects: Identifying Internal Representations for Form and Meaning [49.60849499134362]
  本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。 伝統的な精神言語学的評価は、しばしばLSMの真の言語能力を誤って表現する統計バイアスを反映している。 ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-12T04:16:44Z)
• What an Elegant Bridge: Multilingual LLMs are Biased Similarly in Different Languages [51.0349882045866]
  本稿では,Large Language Models (LLMs) の文法的ジェンダーのレンズによるバイアスについて検討する。 様々な言語における形容詞を持つ名詞を記述するためのモデルを提案し,特に文法性のある言語に焦点を当てた。 単純な分類器は、偶然以上の名詞の性別を予測できるだけでなく、言語間の移動可能性も示せる。
  論文  参考訳（メタデータ） (2024-07-12T22:10:16Z)
• From 'Showgirls' to 'Performers': Fine-tuning with Gender-inclusive Language for Bias Reduction in LLMs [1.1049608786515839]
  我々は、ジェンダー・インクリシティを促進するために、大規模言語モデル内の言語構造に適応する。 私たちの作品の焦点は英語の「In'show-Girl'」や「man-cave」のような男女排他的な接尾辞である。
  論文  参考訳（メタデータ） (2024-07-05T11:31:30Z)
• Inclusivity in Large Language Models: Personality Traits and Gender Bias in Scientific Abstracts [49.97673761305336]
  我々は,3つの大きな言語モデル (LLM) を,人間の物語スタイルと潜在的な性別バイアスに適合させることで評価した。 以上の結果から,これらのモデルは一般的にヒトの投稿内容によく似たテキストを生成するが,スタイル的特徴の変化は有意な性差を示すことが示唆された。
  論文  参考訳（メタデータ） (2024-06-27T19:26:11Z)
• Investigating grammatical abstraction in language models using few-shot learning of novel noun gender [0.0]
  我々は,LSTMとデコーダのみのトランスフォーマーが,フランス語の文法的ジェンダーを人間のように抽象化できるかどうかを評価するために名詞学習実験を行った。 両言語モデルが一対二の学習例から新約名詞のジェンダーを効果的に一般化し,合意文脈にまたがって学習したジェンダーを適用した。 モデルの一般化行動は、それらが人間のように文法的な性別を抽象的なカテゴリーとして表現していることを示しているが、詳細を探求するにはさらなる作業が必要である。
  論文  参考訳（メタデータ） (2024-03-15T14:25:59Z)
• Evaluating Gender Bias in Large Language Models via Chain-of-Thought Prompting [87.30837365008931]
  CoT(Chain-of-Thought)プロンプトを備えた大規模言語モデル(LLM)は、計算不能なタスクでも正確なインクリメンタルな予測を行うことができる。 本研究では,LLMのステップバイステップ予測が性差に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2024-01-28T06:50:10Z)
• Using Artificial French Data to Understand the Emergence of Gender Bias in Transformer Language Models [5.22145960878624]
  この研究は、神経モデルがジェンダーなどの単語の言語的性質や、その使用法を規定する規則をいかに発見するかという、あまり研究されていないトピックを探求するための最初のステップである。 本稿では,フランス語をベースとしたPCFGが生成した人工コーパスを用いて,トレーニングデータ中の性別分布を正確に制御し,モデルが正しく性別情報をキャプチャした条件を決定することを提案する。
  論文  参考訳（メタデータ） (2023-10-24T14:08:37Z)
• The Better Your Syntax, the Better Your Semantics? Probing Pretrained Language Models for the English Comparative Correlative [7.03497683558609]
  Construction Grammar (CxG) は、文法と意味論の関連性を強調する認知言語学のパラダイムである。 我々は、最もよく研究されている構成のうちの1つ、英語比較相関(CC)を分類し、理解する能力について調査する。 以上の結果から,PLMは3つともCCの構造を認識することができるが,その意味は用いていないことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-24T13:01:24Z)
• Analyzing Gender Representation in Multilingual Models [59.21915055702203]
  実践的なケーススタディとして,ジェンダーの区別の表現に焦点をあてる。 ジェンダーの概念が、異なる言語で共有された部分空間にエンコードされる範囲について検討する。
  論文  参考訳（メタデータ） (2022-04-20T00:13:01Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• LSTMs Compose (and Learn) Bottom-Up [18.34617849764921]
  NLPにおける最近の研究は、LSTM言語モデルが言語データの階層構造を捉えていることを示している。 既存の研究とは対照的に,その構成行動に繋がるテキスト学習のプロセスを考える。 本稿では,LSTMにおける単語の意味間の分解的相互依存性を,ゲート間の相互作用に基づいて測定する。
  論文  参考訳（メタデータ） (2020-10-06T13:00:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。