論文の概要: Controlled Evaluation of Grammatical Knowledge in Mandarin Chinese Language Models

• arxiv url: http://arxiv.org/abs/2109.11058v1
• Date: Wed, 22 Sep 2021 22:11:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-24 15:06:15.255161
• Title: Controlled Evaluation of Grammatical Knowledge in Mandarin Chinese Language Models
• Title（参考訳）: 中国語中国語モデルにおける文法知識の制御評価
• Authors: Yiwen Wang, Jennifer Hu, Roger Levy, Peng Qian
• Abstract要約: 構造的監督が言語モデルの文法的依存の学習能力を向上させるかどうかを検討する。 LSTM、リカレントニューラルネットワーク文法、トランスフォーマー言語モデル、および異なるサイズのデータセットに対する生成解析モデルをトレーニングする。 構造的監督がコンテンツ間のシナティクス状態の表現に役立ち、低データ設定における性能向上に役立つという示唆的な証拠が得られます。
• 参考スコア（独自算出の注目度）: 22.57309958548928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prior work has shown that structural supervision helps English language models learn generalizations about syntactic phenomena such as subject-verb agreement. However, it remains unclear if such an inductive bias would also improve language models' ability to learn grammatical dependencies in typologically different languages. Here we investigate this question in Mandarin Chinese, which has a logographic, largely syllable-based writing system; different word order; and sparser morphology than English. We train LSTMs, Recurrent Neural Network Grammars, Transformer language models, and Transformer-parameterized generative parsing models on two Mandarin Chinese datasets of different sizes. We evaluate the models' ability to learn different aspects of Mandarin grammar that assess syntactic and semantic relationships. We find suggestive evidence that structural supervision helps with representing syntactic state across intervening content and improves performance in low-data settings, suggesting that the benefits of hierarchical inductive biases in acquiring dependency relationships may extend beyond English.
• Abstract（参考訳）: 先行研究により、構造的監督は、英語モデルが主語と動詞の合意のような構文現象に関する一般化を学ぶのに役立つことが示されている。 しかし、そのような帰納バイアスが言語モデルにおける文法的依存の学習能力を向上させるかどうかは不明である。 本稿では,この疑問について,日本語の対数表記法,主に音節ベースの表記法,異なる語順,英語のスパルサー形態について検討する。 異なるサイズの2つの中国語データセット上でLSTM、リカレントニューラルネットワーク文法、トランスフォーマー言語モデル、トランスフォーマーパラメータ生成解析モデルをトレーニングする。 モデルがマンダリン文法の異なる側面を学習し,構文的・意味的関係を評価する能力を評価する。 構造的監督が間欠的コンテンツ間での統語的状態の表現に役立ち,低データ設定における性能の向上に寄与する可能性が示唆され,従属関係獲得における階層的帰納的バイアスの利点が英語を超えて広がる可能性が示唆された。

関連論文リスト

• Finding Structure in Language Models [3.882018118763685]
  この論文は、言語モデルが人間のものと似た文法構造を深く理解しているかどうかに関するものである。 我々は,大規模言語モデルの複雑な性質の理解を深める新しい解釈可能性技術を開発する。
  論文  参考訳（メタデータ） (2024-11-25T14:37:24Z)
• Analyzing The Language of Visual Tokens [48.62180485759458]
  我々は、離散的な視覚言語を分析するために、自然言語中心のアプローチをとる。 トークンの高度化はエントロピーの増大と圧縮の低下を招き,トークンが主にオブジェクト部品を表すことを示す。 また、視覚言語には結合的な文法構造が欠如していることが示され、自然言語と比較して難易度が高く、階層構造が弱いことが判明した。
  論文  参考訳（メタデータ） (2024-11-07T18:59:28Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
  我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。 以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
  論文  参考訳（メタデータ） (2022-05-23T16:47:37Z)
• Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
  本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。 実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-09-20T18:40:37Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Cross-Linguistic Syntactic Evaluation of Word Prediction Models [25.39896327641704]
  本稿では,ニューラルワード予測モデルの文法学習能力が言語によってどう異なるかを検討する。 CLAMSには、英語、フランス語、ドイツ語、ヘブライ語、ロシア語のサブバーブ協定の課題セットが含まれている。 CLAMSを用いてLSTM言語モデルと単言語および多言語BERTの評価を行う。
  論文  参考訳（メタデータ） (2020-05-01T02:51:20Z)
• Recurrent Neural Network Language Models Always Learn English-Like Relative Clause Attachment [17.995905582226463]
  英語とスペイン語のモデル性能を比較し,RNN LMにおける非言語的バイアスが英語の構文構造と有利に重なることを示す。 英語モデルは人間に似た構文的嗜好を習得しているように見えるが、スペイン語で訓練されたモデルは、同等の人間的な嗜好を取得できない。
  論文  参考訳（メタデータ） (2020-05-01T01:21:47Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models [27.91397366776451]
  遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。 語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
  論文  参考訳（メタデータ） (2020-04-30T06:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。