論文の概要: Probing for the Usage of Grammatical Number

• arxiv url: http://arxiv.org/abs/2204.08831v3
• Date: Mon, 31 Jul 2023 09:19:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-02 00:57:00.629636
• Title: Probing for the Usage of Grammatical Number
• Title（参考訳）: 文法的数の利用に関する調査
• Authors: Karim Lasri, Tiago Pimentel, Alessandro Lenci, Thierry Poibeau, Ryan Cotterell
• Abstract要約: 私たちは、モデルが実際に使用しているエンコーディングを見つけようと試み、使用量ベースの探索設定を導入しました。 BERTの文法的数値のエンコード方法と,このエンコーディングを用いて数値合意課題を解決する方法に焦点をあてる。
• 参考スコア（独自算出の注目度）: 112.12392493521378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A central quest of probing is to uncover how pre-trained models encode a linguistic property within their representations. An encoding, however, might be spurious-i.e., the model might not rely on it when making predictions. In this paper, we try to find encodings that the model actually uses, introducing a usage-based probing setup. We first choose a behavioral task which cannot be solved without using the linguistic property. Then, we attempt to remove the property by intervening on the model's representations. We contend that, if an encoding is used by the model, its removal should harm the performance on the chosen behavioral task. As a case study, we focus on how BERT encodes grammatical number, and on how it uses this encoding to solve the number agreement task. Experimentally, we find that BERT relies on a linear encoding of grammatical number to produce the correct behavioral output. We also find that BERT uses a separate encoding of grammatical number for nouns and verbs. Finally, we identify in which layers information about grammatical number is transferred from a noun to its head verb.
• Abstract（参考訳）: 探究の中心的な探求は、事前訓練されたモデルがその表現の中で言語特性をエンコードする方法を明らかにすることである。 しかし、エンコーディングは、予測を行う際に、モデルがそれに依存しない可能性がある。 本稿では、モデルが実際に使用しているエンコーディングを見つけ、使用法に基づく探索設定を導入する。 まず,言語特性を用いずには解決できない行動課題を選択する。 そして、モデルの表現を介入することで、プロパティを除去しようとします。 我々は、エンコーディングがモデルによって使用される場合、その削除が選択された動作タスクのパフォーマンスに影響を及ぼすと論じる。 ケーススタディでは,BERTが文法的数値をエンコードする方法と,このエンコーディングを用いて数値合意課題を解決する方法に焦点をあてる。 実験により,BERTは文法的な数値を線形に符号化して正しい振舞いの出力を生成する。 また、BERTは名詞と動詞の文法的な数値を別々に符号化している。 最後に,文法的数に関する情報が名詞から頭動詞に伝達される層を同定する。

関連論文リスト

• Understanding and Mitigating Tokenization Bias in Language Models [6.418593476658017]
  State-of-the-art言語モデルは自己回帰型であり、トークンとして知られるサブワード単位で動作する。 一般的な符号化方式は、より多くのトレーニングやデータで緩和できないサンプリングバイアスを引き起こすことを示す。 トークン化データに基づいて訓練された任意の言語モデルからバイアスのない推定値を得るための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-24T17:38:02Z)
• T2S-GPT: Dynamic Vector Quantization for Autoregressive Sign Language Production from Text [59.57676466961787]
  本稿では,手話における情報密度に基づいて符号化長を調整できる新しい動的ベクトル量子化(DVA-VAE)モデルを提案する。 PHOENIX14Tデータセットを用いて実験を行い,提案手法の有効性を示した。 我々は,486時間の手話ビデオ,音声,文字起こしテキストを含むドイツ語手話データセットPHOENIX-Newsを提案する。
  論文  参考訳（メタデータ） (2024-06-11T10:06:53Z)
• Suffix Retrieval-Augmented Language Modeling [1.8710230264817358]
  因果語モデリング(LM)は単語履歴を用いて次の単語を予測する。 一方,BERTは文中の双方向の単語情報を用いて,マスキング位置での単語の予測を行う。 本稿では,双方向の文脈効果を自己回帰的にシミュレートする新しいモデルを提案する。
  論文  参考訳（メタデータ） (2022-11-06T07:53:19Z)
• Probing for targeted syntactic knowledge through grammatical error detection [13.653209309144593]
  本稿では,事前学習した英語モデルを評価するために,文法的誤り検出を診断プローブとして提案する。 我々は、英語の第二言語学習者とウィキペディアの編集の両方から、公的な注釈付きトレーニングデータを活用する。 マスク付き言語モデルでは,SVAエラー検出に関連する情報を線形に符号化し,自動回帰モデルはベースラインと同等に動作することがわかった。
  論文  参考訳（メタデータ） (2022-10-28T16:01:25Z)
• Thutmose Tagger: Single-pass neural model for Inverse Text Normalization [76.87664008338317]
  逆テキスト正規化(ITN)は自動音声認識において重要な後処理ステップである。 本稿では,ITN例の粒度アライメントに基づくデータセット作成手法を提案する。 タグと入力語との1対1対応により、モデルの予測の解釈性が向上する。
  論文  参考訳（メタデータ） (2022-07-29T20:39:02Z)
• Counterfactual Interventions Reveal the Causal Effect of Relative Clause Representations on Agreement Prediction [61.4913233397155]
  BERTが言語戦略を用いて合意予測中にRCスパンに関する情報を使用することを示す。 また,特定のRCサブタイプに対して生成された反事実表現が,他のRCサブタイプを含む文の数値予測に影響を及ぼし,RC境界に関する情報がBERTの表現に抽象的に符号化されたことを示唆した。
  論文  参考訳（メタデータ） (2021-05-14T17:11:55Z)
• AMBERT: A Pre-trained Language Model with Multi-Grained Tokenization [13.082435183692393]
  AMBERT(A Multi-fine BERT)と呼ばれる新しい事前学習型言語モデルを提案する。 英語では、AMBERTは単語の列(きめ細かいトークン)とフレーズの列(粗いトークン)をトークン化後の入力として扱う。 CLUE(英語版)、GLUE(英語版)、SQuAD(英語版)、RACE(英語版)など、中国語と英語のベンチマークデータセットで実験が行われた。
  論文  参考訳（メタデータ） (2020-08-27T00:23:48Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)
• Adversarial Transfer Learning for Punctuation Restoration [58.2201356693101]
  句読点予測のためのタスク不変知識を学習するために,逆多タスク学習を導入する。 IWSLT2011データセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2020-04-01T06:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。