論文の概要: Emergent Word Order Universals from Cognitively-Motivated Language
Models
- arxiv url: http://arxiv.org/abs/2402.12363v1
- Date: Mon, 19 Feb 2024 18:49:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 14:54:47.003430
- Title: Emergent Word Order Universals from Cognitively-Motivated Language
Models
- Title(参考訳): 認知動機付け言語モデルからの創発的語順普遍性
- Authors: Tatsuki Kuribayashi, Ryo Ueda, Ryo Yoshida, Yohei Oseki, Ted Briscoe,
Timothy Baldwin
- Abstract要約: 言語モデル(LM)を用いた計算シミュレーションによる語順普遍性の研究
実験の結果, 語順は認知学的に有意なバイアスを有するLMで推定される語順が低い傾向が示唆された。
- 参考スコア(独自算出の注目度): 32.48182683572638
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The world's languages exhibit certain so-called typological or implicational
universals; for example, Subject-Object-Verb (SOV) word order typically employs
postpositions. Explaining the source of such biases is a key goal in
linguistics. We study the word-order universals through a computational
simulation with language models (LMs). Our experiments show that typologically
typical word orders tend to have lower perplexity estimated by LMs with
cognitively plausible biases: syntactic biases, specific parsing strategies,
and memory limitations. This suggests that the interplay of these cognitive
biases and predictability (perplexity) can explain many aspects of word-order
universals. This also showcases the advantage of cognitively-motivated LMs,
which are typically employed in cognitive modeling, in the computational
simulation of language universals.
- Abstract(参考訳): 世界の言語は、ある種の類型的または含意的普遍性を示しており、例えば、SOV(Subject-Object-Verb)の語順は、一般にポストポジションを用いる。
このようなバイアスの源を説明することは言語学における重要な目標である。
言語モデル (LM) を用いた計算シミュレーションにより, 語順普遍性について検討する。
実験の結果,タイプ論的に典型的な単語順は,認知学的バイアス,特定の構文解析方略,記憶制限といった認知的バイアスを有するLMによって推定される難易度が低い傾向を示した。
これは、これらの認知バイアスと予測可能性(複雑度)の相互作用が、単語順普遍の多くの側面を説明できることを示唆している。
これはまた、言語普遍性の計算シミュレーションにおいて、認知モデリングに一般的に使用される認知動機付けLMの利点を示す。
関連論文リスト
- Are Structural Concepts Universal in Transformer Language Models?
Towards Interpretable Cross-Lingual Generalization [27.368684663279463]
本稿では,言語間の概念対応を明確に整合させ,言語間の一般化を促進する可能性について検討する。
言語構文の側面をテストベッドとして,43言語を解析した結果,高い整合性を示した。
本稿では,メタラーニングに基づく概念空間の整合学習手法を提案する。
論文 参考訳(メタデータ) (2023-10-19T14:50:51Z) - From Word Models to World Models: Translating from Natural Language to
the Probabilistic Language of Thought [124.40905824051079]
言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。
我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。
LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。
認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2023-06-22T05:14:00Z) - Evaluating statistical language models as pragmatic reasoners [39.72348730045737]
我々は,語学的な発話の意味を推測するために,大規模言語モデルの能力を評価する。
LLMは、複数の複雑な実用的発話の解釈に対して、文脈的、人間的な分布を導出することができる。
結果は,統計的言語モデルの推論能力と,実践的・意味論的解析への応用について報告する。
論文 参考訳(メタデータ) (2023-05-01T18:22:10Z) - Language Embeddings Sometimes Contain Typological Generalizations [0.0]
我々は、1295の言語における聖書翻訳の膨大な多言語データセットに基づいて、自然言語処理タスクのニューラルネットワークを訓練する。
学習された言語表現は、既存の類型データベースや、新しい量的構文的・形態的特徴セットと比較される。
いくつかの一般化は言語型学の伝統的な特徴に驚くほど近いが、ほとんどのモデルは以前の研究と同様に言語学的に意味のある一般化をしていないと結論付けている。
論文 参考訳(メタデータ) (2023-01-19T15:09:59Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳(メタデータ) (2022-10-14T02:35:19Z) - Same Neurons, Different Languages: Probing Morphosyntax in Multilingual
Pre-trained Models [84.86942006830772]
多言語事前学習モデルは文法に関する言語・ユニバーサルの抽象化を導出できると推測する。
43の言語と14のモルフォシンタクティックなカテゴリーで、最先端のニューロンレベルのプローブを用いて、初めて大規模な実験を行った。
論文 参考訳(メタデータ) (2022-05-04T12:22:31Z) - Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。
このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。
新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
論文 参考訳(メタデータ) (2022-02-03T18:55:52Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳(メタデータ) (2021-08-06T23:49:18Z) - On the Evolution of Word Order [7.2610922684683645]
最適な言語は固定語順を持つ言語であることを示す。
また,ケースマーカーや名詞動詞の区別などの文に情報を追加することで,単語の順序を固定化する必要がなくなることを示す。
論文 参考訳(メタデータ) (2021-01-23T20:30:17Z) - Discourse structure interacts with reference but not syntax in neural
language models [17.995905582226463]
本研究では,異なる言語表現間の相互作用を学習する言語モデル(LM)の能力について検討する。
人間とは対照的に、暗黙の因果関係は文法ではなく、参照行動にのみ影響を及ぼす。
以上の結果から,LMの行動は,学習した言論表現だけでなく,統語的合意にも矛盾する可能性が示唆された。
論文 参考訳(メタデータ) (2020-10-10T03:14:00Z) - Learning Universal Representations from Word to Sentence [89.82415322763475]
この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。
本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。
適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
論文 参考訳(メタデータ) (2020-09-10T03:53:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。