論文の概要: When classifying grammatical role, BERT doesn't care about word order... except when it matters

• arxiv url: http://arxiv.org/abs/2203.06204v1
• Date: Fri, 11 Mar 2022 19:00:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-15 14:33:52.175753
• Title: When classifying grammatical role, BERT doesn't care about word order... except when it matters
• Title（参考訳）: 文法的役割を分類するとき、BERTは単語の順序を気にしません。
• Authors: Isabel Papadimitriou and Richard Futrell and Kyle Mahowald
• Abstract要約: 単語の順序は、意味論的に非原型的な位置における単語の後半層表現を定義するのに不可欠である。 実験では,単語順序が文脈化過程に与える影響を分離した。
• 参考スコア（独自算出の注目度）: 9.553484840008583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Because meaning can often be inferred from lexical semantics alone, word order is often a redundant cue in natural language. For example, the words chopped, chef, and onion are more likely used to convey "The chef chopped the onion," not "The onion chopped the chef." Recent work has shown large language models to be surprisingly word order invariant, but crucially has largely considered natural prototypical inputs, where compositional meaning mostly matches lexical expectations. To overcome this confound, we probe grammatical role representation in English BERT and GPT-2, on instances where lexical expectations are not sufficient, and word order knowledge is necessary for correct classification. Such non-prototypical instances are naturally occurring English sentences with inanimate subjects or animate objects, or sentences where we systematically swap the arguments to make sentences like "The onion chopped the chef". We find that, while early layer embeddings are largely lexical, word order is in fact crucial in defining the later-layer representations of words in semantically non-prototypical positions. Our experiments isolate the effect of word order on the contextualization process, and highlight how models use context in the uncommon, but critical, instances where it matters.
• Abstract（参考訳）: 意味はしばしば語彙意味論から推測されるので、自然言語では語順が冗長な手がかりであることが多い。 例えば、「タマネギを刻んだシェフ」ではなく、「タマネギを刻んだシェフ」という語が使われることが多い。 近年の研究では、大きな言語モデルは驚くほどの語順不変であることが示されているが、重要なことは、合成の意味が主に語彙的期待と一致する自然の原型入力と見なされている。 この欠点を克服するために、語彙期待が十分でない場合において、英文BERTとGPT-2の文法的役割表現を探索し、正しい分類には単語順の知識が必要である。 このような非原型的な例は、自然に生じる英語の文に、無生物の主語やアニメーターのオブジェクト、あるいは"The Onion chopped the chef"のような文を体系的に交換する文である。 初期の層埋め込みはほとんど語彙的だが、語順は意味論的に非定型的な位置で単語の後層表現を定義するのに不可欠である。 実験では,単語の順序が文脈化過程に与える影響を分離し,モデルがコンテキストをどのように使用するかを明らかにする。

関連論文リスト

• What an Elegant Bridge: Multilingual LLMs are Biased Similarly in Different Languages [51.0349882045866]
  本稿では,Large Language Models (LLMs) の文法的ジェンダーのレンズによるバイアスについて検討する。 様々な言語における形容詞を持つ名詞を記述するためのモデルを提案し,特に文法性のある言語に焦点を当てた。 単純な分類器は、偶然以上の名詞の性別を予測できるだけでなく、言語間の移動可能性も示せる。
  論文  参考訳（メタデータ） (2024-07-12T22:10:16Z)
• When does word order matter and when doesn't it? [31.092367724062644]
  言語モデル(LM)は、自然言語理解タスクにおける語順の変化に敏感に見える。 言語的冗長性はこの現象を説明することができ、語順や他の言語的手がかりが重複し、結果として冗長な情報を提供する。 我々は,非スクランブル文とスクランブル文の相互情報(MI)を用いて,情報的単語順序の定量化を行う。
  論文  参考訳（メタデータ） (2024-02-29T04:11:10Z)
• CCPrefix: Counterfactual Contrastive Prefix-Tuning for Many-Class Classification [57.62886091828512]
  多クラス分類のための新しいプレフィックスチューニング手法であるCCPrefixを提案する。 基本的に、ラベル空間における実数対から派生したインスタンス依存の軟式接頭辞は、多クラス分類における言語動詞化を補完するために利用される。
  論文  参考訳（メタデータ） (2022-11-11T03:45:59Z)
• Discourse Context Predictability Effects in Hindi Word Order [14.88833412862455]
  文中の単語と構文構造が次の文の語順にどのように影響するかを検討する。 我々は,言論に基づく多くの特徴と認知的特徴を用いて,依存関係の長さ,前提,情報状態などの予測を行う。 情報ステータスとLSTMに基づく談話予測が単語の順序選択に影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2022-10-25T11:53:01Z)
• Subject Verb Agreement Error Patterns in Meaningless Sentences: Humans vs. BERT [64.40111510974957]
  英語における主語数合意に意味が干渉するかどうかを検証する。 意味的によく形づくられた、意味のないアイテムを生成します。 BERTと人間はどちらも、セマンティックな操作に敏感である。
  論文  参考訳（メタデータ） (2022-09-21T17:57:23Z)
• Grammatical cues to subjecthood are redundant in a majority of simple clauses across languages [16.432784321296104]
  文法的な手がかりは、自然言語で単語の意味と重複することがある。 私たちは英語とロシア語で行動実験を行った。 8つの言語族の30言語にまたがって、パフォーマンスは一貫して高かった。
  論文  参考訳（メタデータ） (2022-01-30T21:01:10Z)
• It's not Rocket Science : Interpreting Figurative Language in Narratives [48.84507467131819]
  我々は2つの非構成的図形言語(イディオムとシミュラ)の解釈を研究する。 実験の結果、事前学習された言語モデルのみに基づくモデルは、これらのタスクにおいて人間よりもはるかにひどい性能を示すことがわかった。 また, 知識強化モデルを提案し, 具体的言語を解釈するための人的戦略を採用した。
  論文  参考訳（メタデータ） (2021-08-31T21:46:35Z)
• On the Evolution of Word Order [7.2610922684683645]
  最適な言語は固定語順を持つ言語であることを示す。 また,ケースマーカーや名詞動詞の区別などの文に情報を追加することで,単語の順序を固定化する必要がなくなることを示す。
  論文  参考訳（メタデータ） (2021-01-23T20:30:17Z)
• Investigating Cross-Linguistic Adjective Ordering Tendencies with a Latent-Variable Model [66.84264870118723]
  本稿では,多言語形容詞順序付けを潜在変数モデルとして,初めて純粋コーパス駆動モデルを提案する。 我々は普遍的、言語横断的、階層的形容詞順序付け傾向の存在の強い確固たる証拠を提供する。
  論文  参考訳（メタデータ） (2020-10-09T18:27:55Z)
• Speakers Fill Lexical Semantic Gaps with Context [65.08205006886591]
  我々は単語の語彙的あいまいさを意味のエントロピーとして運用する。 単語のあいまいさの推定値と,WordNetにおける単語の同義語数との間には,有意な相関関係が認められた。 これは、あいまいさの存在下では、話者が文脈をより情報的にすることで補うことを示唆している。
  論文  参考訳（メタデータ） (2020-10-05T17:19:10Z)
• The Role of Verb Semantics in Hungarian Verb-Object Order [22.103908709377514]
  本稿では,動詞を意味クラスに分類することで,ハンガリー語の順序を決定する上での語彙意味論の役割について検討する。 We found that stative verbs, fed "cover", jelent "mean", "ovez "surround", tend to OV-preferring and non-stative verbs, such as b'ir'al "judge", cs"okkent "reduce", cs'okol "kiss", tend to VO-preferring。
  論文  参考訳（メタデータ） (2020-06-16T18:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。