論文の概要: How to Compute the Probability of a Word
- arxiv url: http://arxiv.org/abs/2406.14561v1
- Date: Thu, 20 Jun 2024 17:59:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 12:23:23.994942
- Title: How to Compute the Probability of a Word
- Title（参考訳）: 単語の確率を計算する方法
- Authors: Tiago Pimentel, Clara Meister,
- Abstract要約: 本稿では,単語確率の正しい計算法を導出する。
確率計算における広範囲なバグの修正は,文理解および語彙最適化分析における測定結果に影響を及ぼすことを示す。
- 参考スコア（独自算出の注目度）: 45.23856093235994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language models (LMs) estimate the probability distribution over sequences of natural language; these distributions are crucial for computing perplexity and surprisal in linguistics research. While we are usually concerned with measuring these values for words, most LMs operate over subwords. Despite seemingly straightforward, accurately computing probabilities over one unit given probabilities over the other requires care. Indeed, we show here that many recent linguistic studies have been incorrectly computing these values. This paper derives the correct methods for computing word probabilities, highlighting issues when relying on language models that use beginning-of-word (bow)-marking tokenisers, e.g., the GPT family. Empirically, we show that correcting the widespread bug in probability computations affects measured outcomes in sentence comprehension and lexical optimisation analyses.
- Abstract（参考訳）: 言語モデル(LM)は、自然言語の列上の確率分布を推定する。
通常、これらの値を単語で測定することに関心があるが、ほとんどのLMはサブワードで操作する。
一見単純だが、一方の確率を他方の確率で正確に計算するには注意が必要である。
実際、最近の多くの言語研究がこれらの価値を誤って計算していることを示している。
本稿では,単語の確率を計算するための正しい手法を導出し,単語(ボー)マーキングトークンを使用する言語モデル,例えばGPTファミリに依存する場合の問題点を明らかにする。
実験により,確率計算における広範囲なバグの修正は,文理解および語彙最適化分析における測定結果に影響を及ぼすことが示された。
関連論文リスト
- Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。
我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
論文 参考訳（メタデータ） (2024-09-23T07:55:35Z) - Statistical Uncertainty in Word Embeddings: GloVe-V [35.04183792123882]
本稿では,GloVeの近似的,使いやすい,スケーラブルな再構成誤差分散推定手法を提案する。
分散を伴う埋め込み(GloVe-V)の価値を示すために,本手法がコアワード埋め込みタスクにおいて,原理的仮説テストを実現する方法について述べる。
論文 参考訳（メタデータ） (2024-06-18T00:35:02Z) - Leading Whitespaces of Language Models' Subword Vocabulary Pose a Confound for Calculating Word Probabilities [15.073507986272027]
我々は、単語の確率を単語の確率に集約する最も一般的な方法によって生じる欠点を論じる。
これは、ほとんどの言語モデルのサブワード語彙のトークンが主要な空白を持つという事実による。
後続する白色空間の確率を現在の単語の確率に再計算する簡単な復号法を提案する。
論文 参考訳（メタデータ） (2024-06-16T08:44:56Z) - Probabilistic Method of Measuring Linguistic Productivity [0.0]
本稿では, 言語的生産性を客観的に評価する手法を提案する。
トークン周波数は生産性指標を支配せず、基地のサンプリングに自然に影響を及ぼす。
コーパスに基づくアプローチとランダム化設計により、昔に作られた真のネオロジズムと単語が平等に選択される可能性が保証される。
論文 参考訳（メタデータ） (2023-08-24T08:36:28Z) - Conformal Language Modeling [61.94417935386489]
生成言語モデル(LM)の共形予測のための新しい手法を提案する。
標準共形予測は厳密で統計的に保証された予測セットを生成する。
我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
論文 参考訳（メタデータ） (2023-06-16T21:55:08Z) - Prompting is not a substitute for probability measurements in large
language models [22.790531588072245]
モデルの言語的知識を測定する手段として,メタ言語的プロンプトと直接確率測定を比較した。
以上の結果から, LLMが特定の言語的一般化を欠いているという決定的な証拠として, メタリング主義的プロンプトに依存する否定的な結果が認められないことが示唆された。
また,確率分布へのアクセスが制限されたクローズドAPIへの移行によって失われる価値も強調した。
論文 参考訳（メタデータ） (2023-05-22T17:33:17Z) - Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。
パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。
自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
論文 参考訳（メタデータ） (2022-03-24T01:09:46Z) - How Can We Know When Language Models Know? On the Calibration of
Language Models for Question Answering [80.82194311274694]
言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか?
我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。
次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
論文 参考訳（メタデータ） (2020-12-02T03:53:13Z) - Parameter Space Factorization for Zero-Shot Learning across Tasks and
Languages [112.65994041398481]
本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。
タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。
我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
論文 参考訳（メタデータ） (2020-01-30T16:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。