論文の概要: Modeling the dynamics of language change: logistic regression,
Piotrowski's law, and a handful of examples in Polish
- arxiv url: http://arxiv.org/abs/2104.06324v1
- Date: Tue, 13 Apr 2021 16:03:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-14 13:33:21.321863
- Title: Modeling the dynamics of language change: logistic regression,
Piotrowski's law, and a handful of examples in Polish
- Title（参考訳）: 言語変化のダイナミクスのモデリング:ロジスティック回帰、ピオトロフスキの法則、ポーランドにおけるいくつかの例
- Authors: Rafa{\l} L. G\'orski and Maciej Eder
- Abstract要約: ポーランド語で15世紀から18世紀に起こった9つの変化にロジスティック回帰モデルを適用する。
これらの変化の大部分は、言語の変化が実際に非線形なフェーズ変化のシナリオに似ていることを証明した、期待される値に密接に従っている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The study discusses modeling diachronic processes by logistic regression.
Such an approach was suggested by Raimund Piotrowski (hence labelled as
Piotrowski's law), even if actual linguistic evidence usually speaks against
using the notion of a "law" in this context. In our study, we apply logistic
regression models to 9 changes which occurred between 15th and 18th century in
the Polish language. The attested course of the majority of these changes
closely follow the expected values, which proves that the language change might
indeed resemble a nonlinear phase change scenario. We also extend the original
Piotrowski's approach by proposing polynomial logistic regression for these
cases which can hardly be described by its standard version. Also, we propose
to consider individual language change cases jointly, in order to inspect their
possible collinearity or, more likely, their different dynamics in the function
of time. Last but not least, we evaluate our results by testing the influence
of the subcorpus size on the model's goodness-of-fit.
- Abstract（参考訳）: 本研究は,ロジスティック回帰によるダイアクロニックプロセスのモデル化について論じる。
このようなアプローチはライムント・ピオトロフスキ(後のピオトロフスキの法則)によって提案され、たとえ実際の言語的証拠が、この文脈で「法律」という概念を使うことに反対しているとしてもである。
本研究では、15世紀から18世紀にかけてポーランド語で起こった9つの変化に対してロジスティック回帰モデルを適用する。
これらの変化の大部分は、言語の変化が実際に非線形なフェーズ変化のシナリオに似ていることを証明した、期待される値に密接に従っている。
また、これらの場合の多項式ロジスティック回帰を標準版では説明できないように提案することで、元のピオトロフスキのアプローチを拡張した。
また, それぞれの言語変化の事例を共同で検討し, コリニア性を検討するか, あるいは, 時間関数の異なるダイナミクスを検討することを提案する。
最後に,本モデルの適合性に及ぼす部分体サイズの影響を検証し,結果を評価した。
関連論文リスト
- Toward Understanding In-context vs. In-weight Learning [50.24035812301655]
本研究は,文脈内学習の出現と消失を引き起こす簡易な分布特性を同定する。
そして、この研究を完全な大規模言語モデルに拡張し、自然言語プロンプトの様々なコレクションの微調整が、文脈内および重み付き学習の振る舞いをいかに引き出すかを示す。
論文 参考訳（メタデータ） (2024-10-30T14:09:00Z) - Evolving Voices Based on Temporal Poisson Factorisation [0.0]
本稿では、分解モデルの拡張として、時間的ポアソン分解モデル(TPF)を提案し、スパースカウントデータ行列をモデル化する。
米国上院における18セッションのスピーチの分析(1981-2016)におけるTPFモデルの詳細結果について論じる。
論文 参考訳（メタデータ） (2024-10-24T07:21:33Z) - Simple stochastic processes behind Menzerath's Law [0.0]
本稿では、メンゼロス法則(メンゼロス・アルトマン法とも呼ばれる)を再検討し、言語構成物の長さと構成物の平均の長さの関係をモデル化する。
近年の研究では、既存のモデルは実世界のデータを正確に反映していないが、単純なプロセスでメンセラート的な振る舞いを表現できることが示されている。
論文 参考訳（メタデータ） (2024-08-30T22:20:50Z) - Joint Lemmatization and Morphological Tagging with LEMMING [127.91619168948502]
本稿では,レマタイズとタグ付けを共同でモデル化するモジュール型対数線形モデルLEMMingを提案する。
金の標準タグとレマタでアノテートされたコーパスで訓練でき、形態辞書やアナライザに依存しない。
論文 参考訳（メタデータ） (2024-05-28T16:01:19Z) - Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。
いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。
言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
論文 参考訳（メタデータ） (2024-05-17T17:49:44Z) - On the Origins of Linear Representations in Large Language Models [51.88404605700344]
我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。
実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。
また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
論文 参考訳（メタデータ） (2024-03-06T17:17:36Z) - Frequency Explains the Inverse Correlation of Large Language Models'
Size, Training Data Amount, and Surprisal's Fit to Reading Times [15.738530737312335]
近年の研究では、トランスフォーマーに基づく言語モデルが大きくなり、非常に大量のデータで訓練されているため、その推定結果が自然主義的な人間の読解時間に適合していることが示されている。
本稿では,これら2つの傾向の根底にある説明要因として,単語頻度が重要であることを示す一連の分析結果を示す。
その結果,トランスフォーマーをベースとした言語モデルによる推定は,稀な単語を予測するために学習する超人的に複雑な関連性から,人間の期待から逸脱していることがわかった。
論文 参考訳（メタデータ） (2024-02-03T20:22:54Z) - Token-wise Decomposition of Autoregressive Language Model Hidden States
for Analyzing Model Predictions [9.909170013118775]
本研究は,各初期入力トークンに基づいて,自己回帰言語モデルから最終隠れ状態の線形分解を行う。
次単語確率の変化を重要度尺度として、まず、どの文脈語が言語モデル予測に最も貢献するかを検討する。
論文 参考訳（メタデータ） (2023-05-17T23:55:32Z) - Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。
提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。
本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
論文 参考訳（メタデータ） (2022-05-14T11:47:58Z) - Uncovering More Shallow Heuristics: Probing the Natural Language
Inference Capacities of Transformer-Based Pre-Trained Language Models Using
Syllogistic Patterns [9.031827448667086]
我々は、自然言語推論(NLI)のために微調整されたトランスフォーマーベース事前学習言語モデル(PLM)が使用する浅瀬を探索する。
モデルが特定の浅瀬に強く依存していることの証拠を見つけ、前提と仮説の間の対称性と対称性を拾い上げる。
論文 参考訳（メタデータ） (2022-01-19T14:15:41Z) - Morphologically Aware Word-Level Translation [82.59379608647147]
本稿では,バイリンガルレキシコン誘導のための新しい形態素認識確率モデルを提案する。
我々のモデルは、レキセメが意味の鍵となる語彙単位であるという基本的な言語的直観を生かしている。
論文 参考訳（メタデータ） (2020-11-15T17:54:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。