論文の概要: Corrections of Zipf's and Heaps' Laws Derived from Hapax Rate Models
- arxiv url: http://arxiv.org/abs/2307.12896v3
- Date: Thu, 28 Sep 2023 10:12:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-29 20:19:32.790849
- Title: Corrections of Zipf's and Heaps' Laws Derived from Hapax Rate Models
- Title(参考訳): ハパックス速度モデルによるZipf法則とヒープ法則の補正
- Authors: {\L}ukasz D\k{e}bowski
- Abstract要約: 本稿では,ハファックス率の体系的モデルに基づくZipf法則とHeaps法則の修正を紹介する。
このロジスティックモデルが最も適していることが示されている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The article introduces corrections to Zipf's and Heaps' laws based on
systematic models of the hapax rate. The derivation rests on two assumptions:
The first one is the standard urn model which predicts that marginal frequency
distributions for shorter texts look as if word tokens were sampled blindly
from a given longer text. The second assumption posits that the rate of hapaxes
is a simple function of the text size. Four such functions are discussed: the
constant model, the Davis model, the linear model, and the logistic model. It
is shown that the logistic model yields the best fit.
- Abstract(参考訳): 本稿では,ハファックス率の体系モデルに基づくZipf法則とHeaps法則の修正を紹介する。
1つは標準urnモデルで、短いテキストの限界周波数分布は、与えられた長いテキストから単語トークンが盲目的にサンプリングされたかのように見えると予測する。
第2の仮定は、ハプクスの割合はテキストサイズの単純な関数であると仮定する。
定数モデル、デービスモデル、線型モデル、ロジスティックモデルという4つの関数が議論されている。
このロジスティックモデルが最も適していることが示されている。
関連論文リスト
- On the Origins of Linear Representations in Large Language Models [51.88404605700344]
我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。
実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。
また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
論文 参考訳(メタデータ) (2024-03-06T17:17:36Z) - You Only Forward Once: Prediction and Rationalization in A Single
Forward Pass [10.998983921416533]
教師なしの合理性抽出は、合理性のないモデル予測をサポートするために、簡潔で連続的なテキストスニペットを抽出することを目的としている。
これまでの研究では、RNP(Rationalizing Neural Prediction)フレームワークと呼ばれる2段階のフレームワークを使用してきた。
そこで我々は,論理学の緩和版から派生した,単相一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一
論文 参考訳(メタデータ) (2023-11-04T08:04:28Z) - Separate And Diffuse: Using a Pretrained Diffusion Model for Improving
Source Separation [99.19786288094596]
上界をランダムな生成モデルに一般化する方法を示す。
複数のベンチマークで2, 3, 5, 10, 20人の話者に最先端の結果を示す。
論文 参考訳(メタデータ) (2023-01-25T18:21:51Z) - GAPX: Generalized Autoregressive Paraphrase-Identification X [24.331570697458954]
このパフォーマンス低下の主な原因は、ネガティブな例によって導入されたバイアスである。
我々は、推論中にどれだけの重量を与えるべきかを効果的に、かつ自動的に決定できるパープレキシティーに基づくアウト・オブ・ディストリビューション・メトリックを導入する。
論文 参考訳(メタデータ) (2022-10-05T01:23:52Z) - Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。
本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。
未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
論文 参考訳(メタデータ) (2022-05-26T21:11:51Z) - Performance of Bayesian linear regression in a model with mismatch [8.60118148262922]
本研究では,ガウス先行の対数対数対のベイズ分布の平均値から得られる推定器の性能を解析した。
この推論モデルは、スピングラスにおけるガードナーモデルのバージョンとして記述することができる。
論文 参考訳(メタデータ) (2021-07-14T18:50:13Z) - Generative Text Modeling through Short Run Inference [47.73892773331617]
本研究は、推論のためのショートランダイナミックスを提案し、潜伏変数の以前の分布から変化し、後続分布によって導かれる少数のランゲヴィンダイナミックスステップを実行する。
短絡力学で訓練されたモデルは、強い言語モデルやVAEベースラインと比較して、より正確にデータをモデル化し、後方崩壊の兆候は示さない。
論文 参考訳(メタデータ) (2021-05-27T09:14:35Z) - Why do classifier accuracies show linear trends under distribution
shift? [58.40438263312526]
あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。
2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。
分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
論文 参考訳(メタデータ) (2020-12-31T07:24:30Z) - Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。
モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。
要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
論文 参考訳(メタデータ) (2020-10-15T16:57:27Z) - A Gamma-Poisson Mixture Topic Model for Short Text [0.0]
ほとんどのトピックモデルは、文書が多項分布に従うという仮定のもとに構築される。
トピックモデリングでは、ポアソン分布は一定長さの文書中の単語の発生回数を記述する。
文学における数少ないPoissonトピックモデルは、アドミクチャーモデルであり、ドキュメントがトピックの混合から生成されると仮定する。
論文 参考訳(メタデータ) (2020-04-23T21:13:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。