論文の概要: Typological Alignment of Stack-Based Language Models on Mildly Context-Sensitive Artificial Languages
- arxiv url: http://arxiv.org/abs/2610.02040v1
- Date: Thu, 01 Oct 2026 16:52:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.313431
- Title: Typological Alignment of Stack-Based Language Models on Mildly Context-Sensitive Artificial Languages
- Title（参考訳）: 弱文脈感性人工言語におけるスタックベース言語モデルのタイポロジーアライメント
- Abstract要約: 言語のいくつかの特性、例えば、主題-対象-動詞(SOV)単語順は、証明された自然言語(NL)の中で、他の言語よりも一般的である。
類型的共通性は、しばしば学習バイアスに起因する。近年の言語モデル(LM)による計算シミュレーションにより、この理論の探求が進められている。
i) 階層的依存関係、(i) 証明された構文的複雑性の上限、(ii) スタックベースのLM、そして、階層的パターンの学習を容易にする。
- 参考スコア（独自算出の注目度）: 9.692115036534187
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Some properties of languages, e.g., subject-object-verb (SOV) word order, are more prevalent than others among the thousands of attested natural languages (NLs). Such typological commonality is often attributed to learning biases. Computational simulations, recently with language models (LMs), have facilitated the exploration of this theory. In this paper, we extend existing analyses of the relationship between LMs' learning biases and typological commonality on both data and model sides, focusing on: (i) cross-serial dependencies, the upper limit of attested syntactic complexity, and (ii) stack-based LMs (SLMs), potentially facilitating learning of hierarchical patterns. We first evaluate generalization of SLMs on cross-serial dependencies across diverse artificial languages and confirm that they struggle with such constructions. However, SLMs with limited working memory generalize better suggesting a possible basis for such inductive bias and thus the typological commonality of some word order configurations.
- Abstract（参考訳）: 言語のいくつかの特性、例えば、主語-対象-動詞(SOV)の語順は、何千もの証明された自然言語(NL)の中で、他の言語よりも一般的である。
このような類型的共通性は、しばしば学習バイアスに起因する。
近年、言語モデル (LM) を用いた計算シミュレーションにより、この理論の探索が進められている。
本稿では,LMの学習バイアスと,データ側とモデル側の両方の型的共通性との関係について,既存の分析を拡張した。
一 横断的依存関係、証明された統語的複雑性の上限、及び
(II)スタックベースのLM(SLM)は階層的パターンの学習を容易にする可能性がある。
まず,多種多様な人工言語間の相互依存関係に関するSLMの一般化を評価し,それらがそれらの構築に苦労していることを確認する。
しかし、動作メモリが限られているSLMは、そのような帰納バイアスの可能性が示唆され、ある種の単語順序構成の型的共通性を示す。
関連論文リスト
- Speaking the Language of Science: Toward a General-Purpose Generative Foundation Model for the Natural Sciences [89.71422932447423]
LOGOSは、自然科学における異種タスクを統一する科学生成言語モデルである。
空間的接触パターンと制約パターンを離散トークンとして表現することにより、モデルは純粋にシーケンシャルな方法で複雑な構造的相互作用をキャプチャする。
多様なタスクにわたって、LOGOSは一貫してドメイン固有のベースラインにマッチまたは性能を向上する。
論文 参考訳（メタデータ） (2026-06-15T16:14:53Z) - What Kind of Language is Easy to Language-Model Under Curriculum Learning? [9.692115036534187]
多くの証明された言語は特徴の共通の構成を共有しており、類型的に非常に稀から非常に一般的な特徴の組み合わせのスペクトルを形成している。
一つの中心的な疑問は、そのようなタイプ的傾向を予測できる条件と、そのようなパターンを再現するのに言語モデルの学習バイアスが十分であるかどうかである。
この研究は、LMの帰納バイアスとの相互作用を研究するために、そのような分析(LMの学習シナリオ)に1つの次元性を加える。
論文 参考訳（メタデータ） (2026-04-29T16:09:23Z) - Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。
言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。
本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
論文 参考訳（メタデータ） (2025-02-17T20:40:01Z) - Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価する。
3つのニューラルアーキテクチャに対して、チョムスキー階層の様々な言語について結果を提供する。
我々の貢献は、将来の研究において、言語認識の主張を理論的に健全に検証するのに役立つだろう。
論文 参考訳（メタデータ） (2024-11-11T16:33:25Z) - Black Big Boxes: Do Language Models Hide a Theory of Adjective Order? [5.395055685742631]
英語や他の言語では、複雑な名詞句の複数の形容詞は、多くの言語理論の標的となった複雑な順序付けパターンを示している。
本稿では,人体における形容詞順選好(AOP)を説明するために設計された既存の仮説を概観し,言語モデルにおけるAOPを学習するための設定を開発する。
理論言語学で特定された因子によって生成される予測よりも,全てのモデルの予測が人間のAOPにずっと近いことが判明した。
論文 参考訳（メタデータ） (2024-07-02T10:29:09Z) - Emergent Word Order Universals from Cognitively-Motivated Language Models [30.654343000708334]
言語モデル(LM)を用いた計算シミュレーションによる語順普遍性の研究
実験の結果, タイプ的単語順序は, 認知学的に有意な偏見を持つLMによって推定される難易度が低い傾向を示した。
論文 参考訳（メタデータ） (2024-02-19T18:49:57Z) - How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。
最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
論文 参考訳（メタデータ） (2024-01-11T09:27:50Z) - Evaluating Transformer-Based Multilingual Text Classification [55.53547556060537]
我々は,NLPツールが構文的・形態学的に異なる言語で不平等に機能すると主張している。
実験研究を支援するために,単語順と形態的類似度指標を算出した。
論文 参考訳（メタデータ） (2020-04-29T03:34:53Z) - Model-theoretic Characterizations of Existential Rule Languages [9.845164265154832]
既存のルール、すなわちデータベースへの依存は、コンピュータ科学や人工知能で広く使われている重要な論理言語群である。
本稿では, 既存ルール言語(例えば, 分割型) 組み込み依存性, 依存関係の生成 (TGD) , フェデリアガード付きTGD, 線形TGDなど) について, モデル理論的特徴付けを行う。
これらの特徴付けの自然な応用として、上記の言語の書き換え可能性に関する複雑性境界も同定される。
論文 参考訳（メタデータ） (2020-01-23T17:29:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。