論文の概要: A Measure-Theoretic Characterization of Tight Language Models
- arxiv url: http://arxiv.org/abs/2212.10502v1
- Date: Tue, 20 Dec 2022 18:17:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 16:51:33.408200
- Title: A Measure-Theoretic Characterization of Tight Language Models
- Title(参考訳): タイト言語モデルの測度論的特徴付け
- Authors: Li Du, Lucas Torroba Hennigen, Tiago Pimentel, Clara Meister, Jason
Eisner, Ryan Cotterell
- Abstract要約: 病理学的には「確率質量」が無限列の集合に漏れることがある。
本稿では,言語モデリングの尺度論的扱いについて述べる。
多くのポピュラーな言語モデルファミリーが実際に密接な関係にあることを証明しています。
- 参考スコア(独自算出の注目度): 85.766880016558
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language modeling, a central task in natural language processing, involves
estimating a probability distribution over strings. In most cases, the
estimated distribution sums to 1 over all finite strings. However, in some
pathological cases, probability mass can ``leak'' onto the set of infinite
sequences. In order to characterize the notion of leakage more precisely, this
paper offers a measure-theoretic treatment of language modeling. We prove that
many popular language model families are in fact tight, meaning that they will
not leak in this sense. We also generalize characterizations of tightness
proposed in previous works.
- Abstract(参考訳): 自然言語処理における中心的なタスクである言語モデリングでは、文字列上の確率分布を推定する。
ほとんどの場合、推定分布はすべての有限弦上の 1 に収束する。
しかし、いくつかの病的なケースでは、確率質量は無限列の集合に `leak''' を付けることができる。
より正確に漏洩の概念を特徴付けるため,本稿では言語モデリングの尺度論的扱いについて述べる。
多くのポピュラーな言語モデルファミリーが実際に密接な関係にあることを証明しています。
また,先行研究で提案されているタイトネスの特性を一般化する。
関連論文リスト
- Robustness of the Random Language Model [0.0]
ランダム言語モデルは文脈自由文法のアンサンブルである。
これは文法構文への単一の連続的な遷移を意味する。
このシナリオはこのような対称性の破れに対して堅牢である。
論文 参考訳(メタデータ) (2023-09-26T13:14:35Z) - A novel approach to measuring patent claim scope based on probabilities
obtained from (large) language models [0.0]
本研究は,特許クレームの範囲を,このクレームに含まれる自己情報の相互性として測定することを提案する。
言語モデルからクレームの発生確率を求め、この確率を用いて自己情報を算出する。
論文 参考訳(メタデータ) (2023-09-17T16:50:07Z) - Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。
パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。
自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
論文 参考訳(メタデータ) (2022-03-24T01:09:46Z) - Typical Decoding for Natural Language Generation [76.69397802617064]
本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。
典型的なサンプリングでは,品質面での競争性能が期待できる。
論文 参考訳(メタデータ) (2022-02-01T18:58:45Z) - Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。
実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
論文 参考訳(メタデータ) (2022-01-28T02:33:07Z) - Are Some Words Worth More than Others? [3.5598388686985354]
簡単な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。
提案手法を用いて,広く使用されている大規模英語モデルの評価を行った。
論文 参考訳(メタデータ) (2020-10-12T23:12:11Z) - Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。
ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
論文 参考訳(メタデータ) (2020-02-09T19:53:23Z) - Consistency of a Recurrent Language Model With Respect to Incomplete
Decoding [67.54760086239514]
逐次言語モデルから無限長のシーケンスを受信する問題について検討する。
不整合に対処する2つの対策として、トップkと核サンプリングの一貫性のある変種と、自己終端の繰り返し言語モデルを提案する。
論文 参考訳(メタデータ) (2020-02-06T19:56:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。