Fugu-MT 論文翻訳(概要): Generalizations across filler-gap dependencies in neural language models

論文の概要: Generalizations across filler-gap dependencies in neural language models

arxiv url: http://arxiv.org/abs/2410.18225v1
Date: Wed, 23 Oct 2024 19:04:42 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-25 16:44:11.699924
Title: Generalizations across filler-gap dependencies in neural language models
Title（参考訳）: ニューラルネットワークモデルにおけるフィラーギャップ依存性の一般化
Authors: Katherine Howitt, Sathvik Nair, Allison Dods, Robert Melvin Hopkins,
Abstract要約: 人間は有限入力から構造的一般化を行うことで文法を発達させる。多様な表面形状に拘わらず、構造的一般化を共有するフィラーギャップ依存性が、入力からどのように生じるのかを問う。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Humans develop their grammars by making structural generalizations from finite input. We ask how filler-gap dependencies, which share a structural generalization despite diverse surface forms, might arise from the input. We explicitly control the input to a neural language model (NLM) to uncover whether the model posits a shared representation for filler-gap dependencies. We show that while NLMs do have success differentiating grammatical from ungrammatical filler-gap dependencies, they rely on superficial properties of the input, rather than on a shared generalization. Our work highlights the need for specific linguistic inductive biases to model language acquisition.
Abstract（参考訳）: 人間は有限入力から構造的一般化を行うことで文法を発達させる。多様な表面形状に拘わらず、構造的一般化を共有するフィラーギャップ依存性が、入力からどのように生じるのかを問う。我々は、ニューラルネットワークモデル(NLM)への入力を明示的に制御し、モデルがフィラーギャップ依存に対する共有表現を提示するかどうかを明らかにする。 NLM は、非文法的なフィラーギャップ依存と文法を区別することに成功したが、それらは共有一般化ではなく、入力の表面的性質に依存している。我々の研究は、言語習得のための特定の言語的帰納バイアスの必要性を強調している。

関連論文リスト

Collapsed Language Models Promote Fairness [88.48232731113306]
偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
論文参考訳（メタデータ） (2024-10-06T13:09:48Z)
Compositional Generalization with Grounded Language Models [9.96679221246835]
基底言語モデルは、知識グラフのような外部情報ソースを使用して、事前学習に関連する一般的な課題を満たす。本研究では,構成性の異なる側面を対象とする知識グラフと組み合わせた自然言語質問を生成する手法を開発した。
論文参考訳（メタデータ） (2024-06-07T14:56:51Z)
How Abstract Is Linguistic Generalization in Large Language Models? Experiments with Argument Structure [2.530495315660486]
本研究では,事前学習したトランスフォーマーに基づく大規模言語モデルがコンテキスト間の関係を表現する程度について検討する。 LLMは、関連する文脈間の新しい名詞引数の分布を一般化する上で、よく機能することがわかった。しかし、LCMは事前学習中に観測されていない関連するコンテキスト間の一般化に失敗する。
論文参考訳（メタデータ） (2023-11-08T18:58:43Z)
Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文参考訳（メタデータ） (2022-10-14T02:35:19Z)
Dependency-based Mixture Language Models [53.152011258252315]
依存性に基づく混合言語モデルを紹介する。より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
論文参考訳（メタデータ） (2022-03-19T06:28:30Z)
Schr\"odinger's Tree -- On Syntax and Neural Language Models [10.296219074343785]
言語モデルは、NLPのワークホースとして登場し、ますます流動的な生成能力を示している。我々は、多くの次元にまたがる明瞭さの欠如を観察し、研究者が形成する仮説に影響を及ぼす。本稿では,構文研究における様々な研究課題の意義について概説する。
論文参考訳（メタデータ） (2021-10-17T18:25:23Z)
Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。類型的に多様な訓練言語のサンプルからこの分布を推測する。我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文参考訳（メタデータ） (2021-08-06T23:49:18Z)
Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文参考訳（メタデータ） (2020-12-10T01:27:24Z)
Recurrent Neural Network Language Models Always Learn English-Like Relative Clause Attachment [17.995905582226463]
英語とスペイン語のモデル性能を比較し,RNN LMにおける非言語的バイアスが英語の構文構造と有利に重なることを示す。英語モデルは人間に似た構文的嗜好を習得しているように見えるが、スペイン語で訓練されたモデルは、同等の人間的な嗜好を取得できない。
論文参考訳（メタデータ） (2020-05-01T01:21:47Z)
Do Neural Language Models Show Preferences for Syntactic Formalisms? [14.388237635684737]
本研究では,言語モデルが捉えた構文構造のセマンランスが,表面シンタクティックあるいは深層構文解析の様式にどの程度依存しているかについて検討する。 13の異なる言語で訓練されたBERTおよびELMoモデルに対して,有向依存木抽出のためのプローブを適用した。どちらのモデルも、SUDよりもUDを好むことが分かりました。
論文参考訳（メタデータ） (2020-04-29T11:37:53Z)
A Simple Joint Model for Improved Contextual Neural Lemmatization [60.802451210656805]
本稿では,20言語で最先端の成果を得られる,単純結合型ニューラルモデルを提案する。本論文では,トレーニングと復号化に加えて,本モデルについて述べる。
論文参考訳（メタデータ） (2019-04-04T02:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。