論文の概要: Modeling the dynamics of language change: logistic regression,
Piotrowski's law, and a handful of examples in Polish
- arxiv url: http://arxiv.org/abs/2104.06324v1
- Date: Tue, 13 Apr 2021 16:03:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-14 13:33:21.321863
- Title: Modeling the dynamics of language change: logistic regression,
Piotrowski's law, and a handful of examples in Polish
- Title(参考訳): 言語変化のダイナミクスのモデリング:ロジスティック回帰、ピオトロフスキの法則、ポーランドにおけるいくつかの例
- Authors: Rafa{\l} L. G\'orski and Maciej Eder
- Abstract要約: ポーランド語で15世紀から18世紀に起こった9つの変化にロジスティック回帰モデルを適用する。
これらの変化の大部分は、言語の変化が実際に非線形なフェーズ変化のシナリオに似ていることを証明した、期待される値に密接に従っている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The study discusses modeling diachronic processes by logistic regression.
Such an approach was suggested by Raimund Piotrowski (hence labelled as
Piotrowski's law), even if actual linguistic evidence usually speaks against
using the notion of a "law" in this context. In our study, we apply logistic
regression models to 9 changes which occurred between 15th and 18th century in
the Polish language. The attested course of the majority of these changes
closely follow the expected values, which proves that the language change might
indeed resemble a nonlinear phase change scenario. We also extend the original
Piotrowski's approach by proposing polynomial logistic regression for these
cases which can hardly be described by its standard version. Also, we propose
to consider individual language change cases jointly, in order to inspect their
possible collinearity or, more likely, their different dynamics in the function
of time. Last but not least, we evaluate our results by testing the influence
of the subcorpus size on the model's goodness-of-fit.
- Abstract(参考訳): 本研究は,ロジスティック回帰によるダイアクロニックプロセスのモデル化について論じる。
このようなアプローチはライムント・ピオトロフスキ(後のピオトロフスキの法則)によって提案され、たとえ実際の言語的証拠が、この文脈で「法律」という概念を使うことに反対しているとしてもである。
本研究では、15世紀から18世紀にかけてポーランド語で起こった9つの変化に対してロジスティック回帰モデルを適用する。
これらの変化の大部分は、言語の変化が実際に非線形なフェーズ変化のシナリオに似ていることを証明した、期待される値に密接に従っている。
また、これらの場合の多項式ロジスティック回帰を標準版では説明できないように提案することで、元のピオトロフスキのアプローチを拡張した。
また, それぞれの言語変化の事例を共同で検討し, コリニア性を検討するか, あるいは, 時間関数の異なるダイナミクスを検討することを提案する。
最後に,本モデルの適合性に及ぼす部分体サイズの影響を検証し,結果を評価した。
関連論文リスト
- On the Origins of Linear Representations in Large Language Models [51.88404605700344]
我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。
実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。
また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
論文 参考訳(メタデータ) (2024-03-06T17:17:36Z) - Frequency Explains the Inverse Correlation of Large Language Models'
Size, Training Data Amount, and Surprisal's Fit to Reading Times [15.738530737312335]
近年の研究では、トランスフォーマーに基づく言語モデルが大きくなり、非常に大量のデータで訓練されているため、その推定結果が自然主義的な人間の読解時間に適合していることが示されている。
本稿では,これら2つの傾向の根底にある説明要因として,単語頻度が重要であることを示す一連の分析結果を示す。
その結果,トランスフォーマーをベースとした言語モデルによる推定は,稀な単語を予測するために学習する超人的に複雑な関連性から,人間の期待から逸脱していることがわかった。
論文 参考訳(メタデータ) (2024-02-03T20:22:54Z) - Arrows of Time for Large Language Models [0.0]
本稿では,自己回帰型大規模言語モデルによる確率論的モデリングを時間方向の角度から検討する。
我々は、そのようなモデルが自然言語をモデル化する能力で示す時間非対称性を経験的に見出す。
論文 参考訳(メタデータ) (2024-01-30T23:46:35Z) - Token-wise Decomposition of Autoregressive Language Model Hidden States
for Analyzing Model Predictions [9.909170013118775]
本研究は,各初期入力トークンに基づいて,自己回帰言語モデルから最終隠れ状態の線形分解を行う。
次単語確率の変化を重要度尺度として、まず、どの文脈語が言語モデル予測に最も貢献するかを検討する。
論文 参考訳(メタデータ) (2023-05-17T23:55:32Z) - Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。
提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。
本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
論文 参考訳(メタデータ) (2022-05-14T11:47:58Z) - Uncovering More Shallow Heuristics: Probing the Natural Language
Inference Capacities of Transformer-Based Pre-Trained Language Models Using
Syllogistic Patterns [9.031827448667086]
我々は、自然言語推論(NLI)のために微調整されたトランスフォーマーベース事前学習言語モデル(PLM)が使用する浅瀬を探索する。
モデルが特定の浅瀬に強く依存していることの証拠を見つけ、前提と仮説の間の対称性と対称性を拾い上げる。
論文 参考訳(メタデータ) (2022-01-19T14:15:41Z) - Language Model Evaluation Beyond Perplexity [47.268323020210175]
我々は、言語モデルから生成されたテキストが、訓練された人為的なテキストに存在する統計的傾向を示すかどうかを分析する。
ニューラルネットワークモデルは、考慮された傾向のサブセットのみを学習しているように見えるが、提案された理論分布よりも経験的傾向とより密接に一致している。
論文 参考訳(メタデータ) (2021-05-31T20:13:44Z) - A comprehensive comparative evaluation and analysis of Distributional
Semantic Models [61.41800660636555]
我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。
その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。
我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
論文 参考訳(メタデータ) (2021-05-20T15:18:06Z) - Morphologically Aware Word-Level Translation [82.59379608647147]
本稿では,バイリンガルレキシコン誘導のための新しい形態素認識確率モデルを提案する。
我々のモデルは、レキセメが意味の鍵となる語彙単位であるという基本的な言語的直観を生かしている。
論文 参考訳(メタデータ) (2020-11-15T17:54:49Z) - A Discriminative Latent-Variable Model for Bilingual Lexicon Induction [100.76471407472599]
本稿では,バイリンガルレキシコン誘導のための新しい識別潜在変数モデルを提案する。
我々のモデルは、Haghighi et al. (2008) 以前の二部語マッチング辞書と表現に基づくアプローチを組み合わせたものである。
論文 参考訳(メタデータ) (2018-08-28T14:47:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。