論文の概要: How to Compute the Probability of a Word
- arxiv url: http://arxiv.org/abs/2406.14561v2
- Date: Sat, 12 Oct 2024 16:04:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 15:03:04.218700
- Title: How to Compute the Probability of a Word
- Title(参考訳): 単語の確率を計算する方法
- Authors: Tiago Pimentel, Clara Meister,
- Abstract要約: 本稿では,単語確率の正しい計算法を導出する。
確率計算における広範囲なバグの修正は,文理解および語彙最適化分析における測定結果に影響を及ぼすことを示す。
- 参考スコア(独自算出の注目度): 45.23856093235994
- License:
- Abstract: Language models (LMs) estimate a probability distribution over strings in a natural language; these distributions are crucial for computing perplexity and surprisal in linguistics research. While we are usually concerned with measuring these values for words, most LMs operate over subwords. Despite seemingly straightforward, accurately computing probabilities over one unit given probabilities over the other requires care. Indeed, we show here that many recent linguistic studies have been incorrectly computing these values. This paper derives the correct methods for computing word probabilities, highlighting issues when relying on language models that use beginning-of-word (bow)-marking tokenisers, e.g., the GPT family. Empirically, we show that correcting the widespread bug in probability computations affects measured outcomes in sentence comprehension and lexical optimisation analyses.
- Abstract(参考訳): 言語モデル(LM)は、自然言語の文字列上の確率分布を推定する。
通常、これらの値を単語で測定することに関心があるが、ほとんどのLMはサブワードで操作する。
一見単純だが、一方の確率を他方の確率で正確に計算するには注意が必要である。
実際、最近の多くの言語研究がこれらの価値を誤って計算していることを示している。
本稿では,単語の確率を計算するための正しい手法を導出し,単語(ボー)マーキングトークンを使用する言語モデル,例えばGPTファミリに依存する場合の問題点を明らかにする。
実験により,確率計算における広範囲なバグの修正は,文理解および語彙最適化分析における測定結果に影響を及ぼすことが示された。
関連論文リスト
- Evaluating language models as risk scores [23.779329697527054]
我々は,予測不可能なタスクのリスクスコアとして,言語モデルの利用に焦点をあてる。
大規模言語モデルを用いてリスクスコアを体系的に生成するソフトウェアパッケージであるフォークテキストを導入する。
近年の16大言語モデルに関する実証的な知見を網羅して,民話の有用性を実証する。
論文 参考訳(メタデータ) (2024-07-19T18:13:37Z) - Leading Whitespaces of Language Models' Subword Vocabulary Poses a Confound for Calculating Word Probabilities [15.073507986272027]
我々は、言語モデルのサブワードトークン化スキームによって生じる欠点を論じる。
後続する白色空間の確率を現在の単語の確率に再計算する簡単な復号法を提案する。
論文 参考訳(メタデータ) (2024-06-16T08:44:56Z) - Conformal Language Modeling [61.94417935386489]
生成言語モデル(LM)の共形予測のための新しい手法を提案する。
標準共形予測は厳密で統計的に保証された予測セットを生成する。
我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
論文 参考訳(メタデータ) (2023-06-16T21:55:08Z) - A Heavy-Tailed Algebra for Probabilistic Programming [53.32246823168763]
本稿では,確率変数の尾を解析するための体系的アプローチを提案する。
本稿では,確率型プログラミング言語コンパイラの静的解析(サンプル作成前)において,この手法をどのように利用できるかを示す。
実験結果から,重み付き代数を利用する推論アルゴリズムは,多数の密度モデリングおよび変分推論タスクにおいて優れた性能が得られることを確認した。
論文 参考訳(メタデータ) (2023-06-15T16:37:36Z) - Prompting is not a substitute for probability measurements in large
language models [22.790531588072245]
モデルの言語的知識を測定する手段として,メタ言語的プロンプトと直接確率測定を比較した。
以上の結果から, LLMが特定の言語的一般化を欠いているという決定的な証拠として, メタリング主義的プロンプトに依存する否定的な結果が認められないことが示唆された。
また,確率分布へのアクセスが制限されたクローズドAPIへの移行によって失われる価値も強調した。
論文 参考訳(メタデータ) (2023-05-22T17:33:17Z) - Token-wise Decomposition of Autoregressive Language Model Hidden States
for Analyzing Model Predictions [9.909170013118775]
本研究は,各初期入力トークンに基づいて,自己回帰言語モデルから最終隠れ状態の線形分解を行う。
次単語確率の変化を重要度尺度として、まず、どの文脈語が言語モデル予測に最も貢献するかを検討する。
論文 参考訳(メタデータ) (2023-05-17T23:55:32Z) - Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。
パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。
自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
論文 参考訳(メタデータ) (2022-03-24T01:09:46Z) - Automatically Identifying Semantic Bias in Crowdsourced Natural Language
Inference Datasets [78.6856732729301]
NLIデータセットに仮説を組み込んだ学習空間に"バイアスクラスタ"を見つけるために,モデル駆動で教師なしの手法を導入する。
データセットの仮説分布のセマンティックバイアスを改善するために、介入と追加のラベリングを行うことができる。
論文 参考訳(メタデータ) (2021-12-16T22:49:01Z) - Parameter Space Factorization for Zero-Shot Learning across Tasks and
Languages [112.65994041398481]
本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。
タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。
我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
論文 参考訳(メタデータ) (2020-01-30T16:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。