Fugu-MT 論文翻訳(概要): Unigram-Normalized Perplexity as a Language Model Performance Measure with Different Vocabulary Sizes

論文の概要: Unigram-Normalized Perplexity as a Language Model Performance Measure with Different Vocabulary Sizes

arxiv url: http://arxiv.org/abs/2011.13220v1
Date: Thu, 26 Nov 2020 10:39:03 GMT
ステータス: 処理完了
システム内更新日: 2022-09-20 08:21:52.144585
Title: Unigram-Normalized Perplexity as a Language Model Performance Measure with Different Vocabulary Sizes
Title（参考訳）: 語彙サイズの異なる言語モデル性能尺度としてのユニグラム正規化パープレキシティ
Authors: Jihyeon Roh, Sang-Hoon Oh, Soo-Young Lee
Abstract要約: 本稿では,異なる語彙サイズで言語モデルの性能を評価するための新しい指標を提案する。提案したユニグラム正規化パープレクシリティは、単純なユニグラムモデルから言語モデルの性能改善を実際に示す。
参考スコア（独自算出の注目度）: 4.477547027158141
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Although Perplexity is a widely used performance metric for language models, the values are highly dependent upon the number of words in the corpus and is useful to compare performance of the same corpus only. In this paper, we propose a new metric that can be used to evaluate language model performance with different vocabulary sizes. The proposed unigram-normalized Perplexity actually presents the performance improvement of the language models from that of simple unigram model, and is robust on the vocabulary size. Both theoretical analysis and computational experiments are reported.
Abstract（参考訳）: パープレキシティは言語モデルで広く使われているパフォーマンス指標であるが、値はコーパス内の単語数に大きく依存しており、同じコーパスのパフォーマンスを比較するのに有用である。本稿では,異なる語彙サイズで言語モデルの性能を評価するための新しい指標を提案する。提案したユニグラム正規化パープレキシティは, 単純なユニグラムモデルから言語モデルの性能改善を実際に示し, 語彙サイズに頑健である。理論解析と計算実験の両方が報告されている。

関連論文リスト

Morphological evaluation of subwords vocabulary used by BETO language model [0.1638581561083717]
サブワードのトークン化アルゴリズムはより効率的で、人間の介入なしに単語とサブワードの語彙を独立して構築することができる。本研究では,これらの語彙と言語の形態の重なり合いに着目し,語彙の形態的品質を評価する手法を提案する。この手法をBPE,Wordpiece,Unigramの3つのサブワードトークン化アルゴリズムによって生成された語彙に適用することにより,これらの語彙は一般に非常に低い形態的品質を示すと結論付けた。この評価は、著者の主張の不整合を考慮し、トークン化器、すなわちWordpieceが使用するアルゴリズムを明らかにするのに役立ちます。
論文参考訳（メタデータ） (2024-10-03T08:07:14Z)
Large Vocabulary Size Improves Large Language Models [28.83786065307658]
単語語彙サイズと大規模言語モデル(LLM)の性能の関係について検討する。実験結果から,LLMの語彙サイズが大きくなると性能が向上することがわかった。事前定義された語彙の代わりに新しい語彙を使用するための簡単な方法を導入する。
論文参考訳（メタデータ） (2024-06-24T10:27:07Z)
CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models [77.45934004406283]
複合語を構成語に分割する作業である「分解」を体系的に研究する。 We introduced a dataset of 255k compound and non-compound words across 56 various languages obtained from Wiktionary。分割のための専用モデルを訓練するための新しい手法を導入する。
論文参考訳（メタデータ） (2023-05-23T16:32:27Z)
BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
論文参考訳（メタデータ） (2022-06-21T18:34:11Z)
On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
論文参考訳（メタデータ） (2021-10-15T21:41:16Z)
Discrete representations in neural models of spoken language [56.29049879393466]
音声言語の弱教師付きモデルの文脈における4つの一般的なメトリクスの利点を比較した。異なる評価指標が矛盾する結果をもたらすことが分かりました。
論文参考訳（メタデータ） (2021-05-12T11:02:02Z)
Reranking Machine Translation Hypotheses with Structured and Web-based Language Models [11.363601836199331]
N-best Rescoringには2つの構造化言語モデルが適用される。これらの言語モデルの組み合わせにより、BLEUのスコアはブラインドテストセットで完全に1.6%まで上昇する。
論文参考訳（メタデータ） (2021-04-25T22:09:03Z)
XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
論文参考訳（メタデータ） (2020-10-13T15:32:00Z)
Are Some Words Worth More than Others? [3.5598388686985354]
簡単な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。提案手法を用いて,広く使用されている大規模英語モデルの評価を行った。
論文参考訳（メタデータ） (2020-10-12T23:12:11Z)
Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。言語モデルのための完全合成出力埋め込み層を提案する。我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。