論文の概要: Structural Priming Demonstrates Abstract Grammatical Representations in Multilingual Language Models

• arxiv url: http://arxiv.org/abs/2311.09194v1
• Date: Wed, 15 Nov 2023 18:39:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 14:42:34.990465
• Title: Structural Priming Demonstrates Abstract Grammatical Representations in Multilingual Language Models
• Title（参考訳）: 多言語言語モデルにおける構造プライミングの抽象文法表現
• Authors: James A. Michaelov, Catherine Arnett, Tyler A. Chang, Benjamin K. Bergen
• Abstract要約: 我々は,大言語モデルにおける抽象単言語および多言語文法表現の証拠を見出した。 その結果、多言語言語モデルにおける文法表現は言語間で類似しているだけでなく、異なる言語で生成されたテキストに因果的に影響を及ぼすことを示した。
• 参考スコア（独自算出の注目度）: 6.845954748361076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Abstract grammatical knowledge - of parts of speech and grammatical patterns - is key to the capacity for linguistic generalization in humans. But how abstract is grammatical knowledge in large language models? In the human literature, compelling evidence for grammatical abstraction comes from structural priming. A sentence that shares the same grammatical structure as a preceding sentence is processed and produced more readily. Because confounds exist when using stimuli in a single language, evidence of abstraction is even more compelling from crosslingual structural priming, where use of a syntactic structure in one language primes an analogous structure in another language. We measure crosslingual structural priming in large language models, comparing model behavior to human experimental results from eight crosslingual experiments covering six languages, and four monolingual structural priming experiments in three non-English languages. We find evidence for abstract monolingual and crosslingual grammatical representations in the models that function similarly to those found in humans. These results demonstrate that grammatical representations in multilingual language models are not only similar across languages, but they can causally influence text produced in different languages.
• Abstract（参考訳）: 抽象文法知識 (abstract grammatical knowledge) - 音声と文法パターンの一部 - は、人間の言語一般化能力の鍵である。 しかし、大きな言語モデルにおける文法的知識はどの程度抽象的か? 人間の文学では、文法的抽象の説得力のある証拠は構造的プライミングに由来する。 前文と同じ文法構造を共有する文を処理し、より容易に生成する。 一つの言語で刺激を使う際には、矛盾があるため、抽象の証拠は、ある言語における構文構造を使用することが他の言語における類似構造を素とする言語横断的な構造プライミングによってさらに説得力がある。 大規模言語モデルにおける言語間構造プライミングの測定を行い,6言語を対象とした8つの言語間実験および3つの非英語言語における4つの単言語構造プライミング実験の結果と比較した。 ヒトに見られるものと同様に機能するモデルにおいて,抽象単言語およびクロス言語文法表現の証拠を見いだす。 これらの結果から,多言語モデルにおける文法表現は言語間で類似するだけでなく,異なる言語で生成されたテキストに因果的に影響を及ぼすことが示された。

関連論文リスト

• Finding Structure in Language Models [3.882018118763685]
  この論文は、言語モデルが人間のものと似た文法構造を深く理解しているかどうかに関するものである。 我々は,大規模言語モデルの複雑な性質の理解を深める新しい解釈可能性技術を開発する。
  論文  参考訳（メタデータ） (2024-11-25T14:37:24Z)
• Analyzing The Language of Visual Tokens [48.62180485759458]
  我々は、離散的な視覚言語を分析するために、自然言語中心のアプローチをとる。 トークンの高度化はエントロピーの増大と圧縮の低下を招き,トークンが主にオブジェクト部品を表すことを示す。 また、視覚言語には結合的な文法構造が欠如していることが示され、自然言語と比較して難易度が高く、階層構造が弱いことが判明した。
  論文  参考訳（メタデータ） (2024-11-07T18:59:28Z)
• Exploring syntactic information in sentence embeddings through multilingual subject-verb agreement [1.4335183427838039]
  我々は,特定の特性を持つ大規模でキュレートされた合成データを開発するためのアプローチを採っている。 我々は、ブラックバード言語行列(Blackbird Language Matrices)と呼ばれる新しい複数選択タスクとデータセットを使用して、特定の文法構造現象に焦点を当てる。 多言語テキストを一貫した方法で訓練したにもかかわらず、多言語事前学習言語モデルには言語固有の違いがあることが示される。
  論文  参考訳（メタデータ） (2024-09-10T14:58:55Z)
• The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
  本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。 学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。 分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
  論文  参考訳（メタデータ） (2024-04-11T17:58:05Z)
• Crosslingual Structural Priming and the Pre-Training Dynamics of Bilingual Language Models [6.845954748361076]
  構造プライミングを用いて、モデル出力に対する因果効果を持つ抽象文法表現をテストする。 オランダ語と英語のバイリンガル設定にアプローチを拡張し,事前学習時のオランダ語と英語のモデルを評価する。 また,第2言語に曝露すると,言語間構造的プライミング効果が早期に出現し,その言語でのデータトークンが100万個未満であることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T22:57:03Z)
• Multilingual Multi-Figurative Language Detection [14.799109368073548]
  比喩的言語理解は多言語環境では 非常に過小評価されています 我々は,多言語多言語言語モデリングを導入し,文レベル図形言語検出のためのベンチマークを提供する。 テンプレートに基づく即時学習に基づく図形言語検出のためのフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-05-31T18:52:41Z)
• Same Neurons, Different Languages: Probing Morphosyntax in Multilingual Pre-trained Models [84.86942006830772]
  多言語事前学習モデルは文法に関する言語・ユニバーサルの抽象化を導出できると推測する。 43の言語と14のモルフォシンタクティックなカテゴリーで、最先端のニューロンレベルのプローブを用いて、初めて大規模な実験を行った。
  論文  参考訳（メタデータ） (2022-05-04T12:22:31Z)
• Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure [54.01613740115601]
  本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。 我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
  論文  参考訳（メタデータ） (2022-03-16T07:09:35Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models [96.32118305166412]
  本研究では,5つの単一言語下流タスクのセットに基づいて,事前学習可能な単言語モデルを持つ9種類の言語について検討した。 多言語モデルの語彙で適切に表現された言語は、単言語モデルよりも性能が著しく低下する。
  論文  参考訳（メタデータ） (2020-12-31T14:11:00Z)
• Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models [27.91397366776451]
  遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。 語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
  論文  参考訳（メタデータ） (2020-04-30T06:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。