論文の概要: Modeling the Unigram Distribution
- arxiv url: http://arxiv.org/abs/2106.02289v1
- Date: Fri, 4 Jun 2021 07:02:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-07 15:08:36.039299
- Title: Modeling the Unigram Distribution
- Title(参考訳): ユニグラム分布のモデル化
- Authors: Irene Nikkarinen, Tiago Pimentel, Dami\'an E. Blasi, Ryan Cotterell
- Abstract要約: ユニグラム分布は、コーパス内の特定の単語形式を見つける非文脈確率である。
我々はそれを言語で推定するための新しいモデルを提案する。
- 参考スコア(独自算出の注目度): 39.153612297712655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The unigram distribution is the non-contextual probability of finding a
specific word form in a corpus. While of central importance to the study of
language, it is commonly approximated by each word's sample frequency in the
corpus. This approach, being highly dependent on sample size, assigns zero
probability to any out-of-vocabulary (oov) word form. As a result, it produces
negatively biased probabilities for any oov word form, while positively biased
probabilities to in-corpus words. In this work, we argue in favor of properly
modeling the unigram distribution -- claiming it should be a central task in
natural language processing. With this in mind, we present a novel model for
estimating it in a language (a neuralization of Goldwater et al.'s (2011)
model) and show it produces much better estimates across a diverse set of 7
languages than the na\"ive use of neural character-level language models.
- Abstract(参考訳): 一グラム分布は、コーパス内の特定の単語形式を見つける非文脈確率である。
言語研究の中心的重要性は大きいが、コーパス内の各単語のサンプル周波数によって近似されることが多い。
このアプローチはサンプルサイズに大きく依存しており、任意の外語彙(oov)ワード形式にゼロ確率を割り当てる。
その結果、任意のoovワード形式に対して負の偏りが生じる一方で、コーパス語に対する正の偏りが生じる。
本研究では,ユニグラム分布を適切にモデル化することを支持し,自然言語処理における中心的なタスクであるべきだと主張している。
このことを念頭に, 言語で推定する新しいモデル(goldwaterらによる神経化)を提案する。
ニューラルキャラクタレベルの言語モデルを用いた場合よりも、多種多様な7言語に対してずっと優れた推定結果が得られることが示されています。
関連論文リスト
- Probabilistic Transformer: A Probabilistic Dependency Model for
Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。
モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。
実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文 参考訳(メタデータ) (2023-11-26T06:56:02Z) - A novel approach to measuring patent claim scope based on probabilities
obtained from (large) language models [0.0]
本研究は,特許クレームの範囲を,このクレームに含まれる自己情報の相互性として測定することを提案する。
言語モデルからクレームの発生確率を求め、この確率を用いて自己情報を算出する。
論文 参考訳(メタデータ) (2023-09-17T16:50:07Z) - A Natural Bias for Language Generation Models [31.44752136404971]
我々は、一グラムの周波数統計を先行知識として反映した別個のモジュールで、標準のニューラルネットワーク生成モデルを実現することができることを示す。
この単純なテクニックのテストベッドとしてニューラルマシン翻訳を使用し、(i)学習効率の向上、(ii)全体的なパフォーマンスの向上、そしておそらく最も重要なことは、強い周波数効果を歪めているように見えることです。
論文 参考訳(メタデータ) (2022-12-19T18:14:36Z) - Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。
本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。
未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
論文 参考訳(メタデータ) (2022-05-26T21:11:51Z) - Dependency-based Mixture Language Models [53.152011258252315]
依存性に基づく混合言語モデルを紹介する。
より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。
次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
論文 参考訳(メタデータ) (2022-03-19T06:28:30Z) - Typical Decoding for Natural Language Generation [76.69397802617064]
本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。
典型的なサンプリングでは,品質面での競争性能が期待できる。
論文 参考訳(メタデータ) (2022-02-01T18:58:45Z) - Learning Probabilistic Sentence Representations from Paraphrases [47.528336088976744]
文の分布を生成する確率モデルを定義する。
パラフレーズでモデルをトレーニングし、それらが自然に文の特異性を捉えていることを示す。
本モデルでは,各単語の明瞭度と正確度を抽出する手法を提案する。
論文 参考訳(メタデータ) (2020-05-16T21:10:28Z) - Parameter Space Factorization for Zero-Shot Learning across Tasks and
Languages [112.65994041398481]
本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。
タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。
我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
論文 参考訳(メタデータ) (2020-01-30T16:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。